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MTENT COOPERATION TR JY 

From the INTERNATIONAL BUREAU 



PCT 

NOTIFICATION OF ELECTION 
(PCT Rule 61.2) 



To: 



Commissioner 

US Department of Commerce 
United States Patent and Trademark 

Office, PCT 

2011 South Clark Place Room 
CP2/5C24 

Arlington, VA 22202 



Date of mailing (day/month/year) 
08 February 2001 (08.02.01) 


ETATS-UNIS D'AMERIQUE 

in its capacity as elected Office 




International application Na 
PCT/EPOO/05337 


Applicant's or agent's file reference 

P032258/WO/1 


International filing date (day/month/year) 

09 June 2000 (09.06.00) 


Priority date {day/month/year) 

lUune 1999 (11.06.99) 


Applicant 

KNOPPEU Carsten et al 



1. The designated Office is hereby notified of Its election made: 

I X| in the demand filed with the International Preliminary Examining Authority on: 

21 December 2000 (21.12.00) 



I I in a notice effecting later election filed with the International Bureau on: 



2. The election 




was 
was not 



made before the expiration of 19 months from the priority date or, where Rule 32 applies, within the time limit under 
Rule d2.2(b). 



The International Bureau of WlPO 


Authorized officer 


34« chemin des Colombettes 


R. E. Stoffel 


1211 Geneva 20, Switzerland 


Facsimile No.: (41-22) 740.14.35 


Telephone No.: (41-22) 338.83.38 
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From the INTERNATIONAL BUREAU 



PCX 

NOTICE INFORMING THE APPLICANT OF THE 
COMMUNICATION OF THE INTERNATIONAL 
APPLICATION TO THE DESIGNATED OFFICES 

(PCT Rule 47.1(c), first sentence) 


To: 


KOCHER, Klaus-Peter 
DaimlerChrysler AG 
inteiieciuai rropeny ivianageme 
FTP-C106 
D-70546 Stuttaart) 
^^l^jCMAGNC ■ ■ 
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Date of mailing (day/month/year) 

21 December 2000 (21.12.00) 


z. Erfedigung 


FTP/E J FIP/P 1 FTP/S 


1 








Applicant's or agent's file reference 

P032258/WO/1 




IMPORTANT NOTIC 


E 


International application No. International filing date (day/month/year) Priority date (day/month/year) 
PCT/EPOO/05337 09 June 2000 (09.06.00) 1 1 June 1999 (1 1.06.99) 


Applicant 

DAIMLERCHRYSLER AG et al 



1. Notice IS hereby given that the International Bureau has communicated, as provided in Article 20, the international application 
to the following designated Offices on the date indicated above as the date of mailing of this Notice: 

US 



In accordance with Rule 47.1(c), third sentence, those Offices will accept the present Notice as conclusive evidence that 
the communication of the international application has duly taken place on the date of mailing indicated above and no copy 
of the international application is required to be furnished by the applicant to the designated Office(s). 

2. The following designated Offices have waived the requirement for such a communication at this time: 

EP,JP 

The communication will be made to those Offices only upon their request. Furthermore, those Offices do not require the 
applicant to furnish a copy of the international application (Rule 49.1 (a-bis)). 

3. Enclosed with this Notice is a copy of the international application as published by the International Bureau on 
21 December 2000 (21.12.00) under No. WO 00/77736 

REMINDER REGARDING CHAPTER II (Article 31(2)(a) and Rule 54.2) 

If the applicant wishes to postpone entry into the national phase until 30 months (or later in some Offices) from the priority 
date, a demand for international preliminary examination must be filed with the competent International Preliminary 
Examining Authority before the expiration of 19 months from the priority date. 

It is the applicant's sole responsibility to monitor the 1 9-month time limit. 

Note that only an applicant who is a national or resident of a PCT Contracting State which is bound by Chapter II has the 
right to file a demand for international preliminary examination. 

REMINDER REGARDING ENTRY INTO THE NATIONAL PHASE (Article 22 or 39(1)) 

If the applicant wishes to proceed with the international application in the national phase, he must, within 20 months 
or 30 months, or later in some Offices, perform the acts referred to therein before each designated or elected Office. 

For further important information on the time limits and acts to be performed for entering the national phase, see the 
Annex to Form PCT/IB/301 (Notification of Receipt of Record Copy) and Volume II of the PCT Applicant's Guide. 





The International Bureau of WlPO 
34, chemin des Colombettes 
1211 Geneva 20, Switzerland 

Facsimile No. (41-22) 740.14.35 


Authorized officer 

J. Zahra 

Telephone No. (41-22) 338.83.38 



Form PCT/IB/308 (July 1996) 



3722647 



;AjBER DIE INTERNATIONALE ZliA 
^AUF DEM GEBIET DES PATENTW?S 

PCT 

INTERNATIONALER RECHERCHENBERICHT 

(Artikel 18 sowie Regein 43 und 44 PCT) 



MMENARBEIT 
SENS 



Aktenzeichen des Anmeiders Oder Anwatts 

P032258/W0/1 


WEITERES siehe Mitteilung uber die Ubermittlung des internationalen 

Recherchenberichts (Formblatt PCT/lSA/220) sowie, soweit 
VORGEHEN zutreffend, nachstehender Punkt 5 


Internationales Aktenzeichen 

PCT/EP 00/05337 


Internationales Anmeldedatum 
(Tag/Monat/Jahr) 

09/06/2000 


(Fruhestes) Prioritatsdatum (Tag/Monat/Jahr) 

11/06/1999 


Anmelder 

DAIMLERCHRYSLER 



Dieser internatlonale Recherchenbericht wurde von der Internationalen Recherchenbehorde ersteitt und wird dem Anmelder gemaB 
Artikel 18 ubermittelt. Eine Kopie wird dem Internationalen Buro ubermlttelt. 

Oieser Internationale Recherchenbericht umfaBt insgesamt _2 Blatter. 

[X] Daruber hinaus liegt ihm jeweils eine Kopie der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Grundlage des Berlchts 

a. Hinsichtlich der Sprache ist die internationale Recherche auf der Grundlage der internationalen Anmeldung in der Sprache 
durchgefuhrt worden, in der sie eingereicht wurde, sofern unter diesem Punkt nichts anderes angegeben ist. 

I I Die Internationale Recherche Ist auf der Grundlage einer bei der Behdrde eingereichten Ubersetzung der internationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

b. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleottd- und/oder Aminosduresequenz ist die internationale 
Recherche auf der Grundlage des Sequenzprotokolts durchgefuhrt worden, das 

I I in der internationalen Anmeldung in Schrlfllcher Form enthalten Ist. 

I I zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden Ist. 

I I bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

I I bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

[ I Die Erklarung, da3 das nachtraglich eingerelchte schriftliche Sequenzprotokoll nicht uber den Offenbarungsgehatt der 
internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

I I Die Erklarung, daB die in computerlesbarer Form erfaBten Informatlonen dem schrrftlichen Sequenzprotokoll entsprechen, 
wurde vorgelegt. 

I I Bestlmmte AnsprUche haben sich als nIcht recherchlerbar erwiesen (siehe Feld I). 
I I Mangelnde EInheltllchkelt der Erflndung (siehe Feld II). 



2. 
3. 



Hinsichtlich der Bezelchnung der Erflndung 

PC] wird der vom Anmelder eingerelchte Wortiaut genehmlgt. 
I I wurde der Worttaut von der Behdrde wie folgt festgesetzt: 



5. Hinsichtlich der Zusammenfassung 

[yl wird der vom Anmelder eingerelchte Wortiaut genehmlgt. 

^ wurde der Wortiaut nach Regel 38.2b) in der in Feld III angegebenen Fassung von der Behorde festgesetzt. Der 

I I Anmelder kann der Behdrde innerhalb eines Monats nach dem Datum der Absendung dieses Internationalen 
Recherchenberichts eine Stellungnahme vorlegen. 

6. Folgende Abbildung der Zelchnungen ist mit der Zusammenfassung zu veroffentlichen: Abb. Nr. 4 



[X] wie vom Anmelder vorgeschtagen \^ kelne der Abb. 

I I well der Anmelder selbst keine Abbildung vorgeschlagen hat. 
I I well diese Abbildung die Erflndung besser kennzeichnet. 



Formblatt PCT/ISA/210 (Blatt 1) (Juli 1998) 



INTERNATIONALER RECHERCHENBERICHT 



ernationales Aktenzeichen 

CT/EP 00/05337 



A. KLASSIFIZiERUNG DES ANMELOUNGSGEGENST ANDES 

IPK 7 G06T7/00 G06T5/00 



Nach der International en Patentktassifikation (IPK) Oder nach der natlonalen Klassifikation und der IPK 



B. RECHERCHIERTEGEBIETE 



Recherchierter MindestprOfstoff (Klassiflkationssystem und Klassifikationssymbole ) 

IPK 7 G06T 



Recherchierte aber nicht zum Mindestprufstoff gehorende Veroffentlichungen, soweit diese unter die recherchierten Gebiete fallen 



Wahrend der international en Recherche konsultierte elektronische Datenbank {Name der Datenbank und evtl. verwendete Suchbegriffe) 

WPI Data, PAJ, INSPEC, EPO-Internal , IBM-TDB 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie" Bezetchnung der Veroffentlichung. soweit erforderlich unter Angabe der in Betracht kommenden Telle 



Betr. Anspruch Nr. 



EP 0 874 331 A (FUJI JUKOGYO KABUSHIKI 

KAISHA) 28. Oktober 1998 (1998-10-28) 

Spalte 3, Zeile 38 - Zeile 45 

Spalte 9, Zeile 26 - Zeile 28 

Spalte 11, Zeile 53 -Spalte 12, Zeile 14 



1-4 



□ 



Weitere Veroffentlichungen sind der Fortsetzung von Feld C zu 
entnehmen 



El 



Siehe Anhang Patentfamilie 



** Besondere Kategorien von angegebenen Veroffentlichungen 
"A" Veroffentlichung, die den allgemeinen Stand der Technik definiert. 
aber nicht als besonders bedeutsam anzusehen ist 

"E" alteres Ookument. das jedoch erst am Oder nach dem intemationalen 
Anrrteldedatum veroffentlicht worden ist 

"L" Veroffentlichung, die geeignet ist. einen Prioritatsanspruch zweifelhaft er- 
scheinen zu lassen, oder durch die das Veroftentlichungsdatum einer 
anderen im Recherchenbericht genannten Veroffentlichung belegt werden 
soil Oder die aus einem anderen besonderen Grund angegetjen ist (wie 
ausgefuhrt) 

"O" Veroffentlichung. die sich auf eine mundliche Offenbarung. 

eine Benutzung. etne Ausstellung oder andere MaBnahmen bezteht 
"P" Veroffentlichung. die vor dem intemationalen Anmeldedatum, aber nach 

dem t)eanspfuchten Prioritatsdatum veroffentiicht worden ist 



' Spatere Veroffentlichung. die nach dem intemationalen Anmeldedatum 
Oder dem Prioritatsdatum veroffentlicht worden ist und mit der 
Anmeldung nicht kollidiert. sondem nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips oder der ihr zugmndeliegenden 
Theorie angegeben ist 

" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein aufgrund dieser Veroffentlichung nicht als neu oder auf 
erfinderischer Tatigkeit beruhend betrachtet werden 

■ Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erfinderischer Tatig[<eit beruhend betrachtet 
werden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Veroffentlichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung fur einen Facnmann naheliegend ist 

" Veroffentlichung, die Mitgtied derselben Patentfamilie ist 



Datum des Abschlusses der intemationalen Recherche 



3. November 2000 



Absendedatum des intemationalen Recherchenberichts 



13/11/2000 



Name und Postanschrift der Intemationalen Recherchenbehorde 
Europaisches Patentamt. P.B. 5818 Patentlaan 2 
NL - 2280 HV Riiswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 



Bevollmachtigter Bedier^teter 



Chateau, J-P 



Formblatt PCT/ISA/210 (Blatt 2) (Jult 1 992) 



INTF.R NATIONAL SEARCH REPORT 

rmation on patent family members 



|ternatlonal Application No 

CT/EP 00/05337 



Patent document 
cited in search report 



Publication 
date 



Patent family 
member(s) 



Publication 
date 



EP 874331 



28-10-1998 



OP 
US 



10285582 A 
6122597 A 



23-10-1998 
19-09-2000 



Form PCT/ISA/210 (patent family annex) (July 1902) 



CSSiP^r^^^s^^fMf^TRAG UBER DIE lhJTEI|y|^Mi£ ZUSAMMENARBE^Ti»5t|,«,!S^!=5-,^^ 



Absender: MIT DER INTERNATIONALEN VORLAUFIGEN 
PRUFUNG BEAUFTRAGTE BEHORDE 



An: 

Weiss, Klaus 

DAIMLERCHRYSL5R-Ae- 
FTP.C106 
D-70546 Stuttgart 
ALLEMAGNE 



FTP 



cing.: 



UT., 



2 2. Aug. 200t 



z. Eriedigung 



Frist 



FTP/E I FTP/P I FTP/ S 



PCT 



MITTEILUNG OBER DIE OBERSENDUNG 
DES INTERNATIONALEN VORLAUFIGEN 
PRUFUNGSBERICHTS 

(Regel 71.1 PCT) 



Absendedatum 
fr ag/Monat/Jahr) 



23.08.2001 



Aktenzeichen des Anmetders oder Anwalts 
P032258/WO/1 



WICKTIGE MTTTBUJNG 



Internationales Aktenzeichen 
PCT/EPOO/05337 



Internationales Anmeldedatum (Tag/Monat/Jahr) 
09/06/2000 



Priorltatsdatum (Tag/Monat/Jahr) 
11/06/1999 



Anmelder 

DAIMLERCHRYSLER AG 



1 . Dem Anmelder wird mitgeteilt, daS ihm die mit der internationalen vorlaufigen PrufungtjeSijTfragfe Behdrde 
hiermit den zu der internationalen Anmeldung erstellten internationalen vorlaufigen Prufungsbericht, 
gegebenenfalls mit den dazugehorigen Aniagen, ubermittelt. 

2. Eine Kopie des Berichts wird - gegetbenenfalls mit den dazugehorigen Aniagen - dem Internationalen Buro zur 
Weiterleitung an alle ausgewahlten Amter ubermittelt. 



3. Auf Wunsch eines ausgewahlten Amts wird das Internationale Buro eine Ubersetzung des Berichts Qedoch 
nicht der Aniagen) ins Englische anfertigen und diesem Amt ubermitteln. 



4. ERINNERUNG 

Zum Eintritt in die nationale Phase hat der Anmelder vor jedem ausgewahlten Amt innerhalb von 30 Monaten 
ab dem Prioritatsdatum (oder in manchen Amtern noch spater) bestimmte Handlungen (Einreichung von 
Ubersetzungen und Entrichtung nationaler Gebuhren) vorzunehmen (Artikel 39 (1)) (siehe auch die durch das 
Internationale Buro im Formblatt PGT/IB/301 ubermittelte Information). 



1st einem ausgewahlten Amt eine Ubersetzung der internationalen Anmeldung zu ubermitteln, so mu3 diese 
Ubersetzung auch Obersetzungen aller Aniagen zum internationalen vorlaufigen Prufungsbericht enthalten. Es 
ist Aufgabe des Anmelders, solche Ubersetzungen anzufertigen und den betroffenen ausgewahlten Amtern 
direkt zuzuleiten. 



Weitere Einzelheiten zu den maBgebenden Fristen und Erfordernissen der ausgewahlten Amter sind Band II 
des PCT-Leitfadens fur Anmelder zu entnehmen. 



Name und Postanschrift der mit der internationalen Prufung 
beauftragten Behdrde 

Europaisches Patentamt 

D-80298 MOnchen 
Tel. 449 89 2399 - 0 Tx: 523656 epmu d 

Fax:+49 89 2399 - 4465 



Bevollmachtigter Bediensteter 

Corcos, E 

Tel. +49 89 2399-7418 



/J 



Formblatt PCT/IPEA/416 (Juli 1992) 



VERTRAG UBER DIE INTERNATIONALE ZUSAMMEN ARBEIT AUF DEM 

GEBIET DES PATENTWB$||SIS 

PCT 

INTERNATIONALER VORLAUFIGER PRUFU NGSBE RiCHT 

(Artikel 36 und Regel 70 PCT) ""1 




Aktenzeichen des Anmelders Oder Anwalts 
P032258/WO/1 


lAf cri-rccico \ir\or^cLJc ^'^'^^ Mittellung uber die Ubersendung des Intemationalen 
WEITERES VORGEHEN voriaufigen Prufungsberichts (Formblatt PCT/IPEA/416) 


Internationales Aktenzeichen 
PCT/EPOO/05337 


1 ntemationales Anmeidedatum (T ag/Monat/Jahr) 
09/06/2000 


Prioritatsdatum (Tag/Monat/Tag) 
11/06/1999 


Internationale Patentklasslfikation (IPK) Oder nationale Klasslfikation und IPK 
G06T7/00 


Anmelder 

DAIMLERCHRYSLER AG 



1 . Dieser Internationale vorlaufige Prufungsbericht wurde von der mit der intemationalen vorlSufigen Prufung beauftragten 
Behorde ersteilt und wird dem Anmelder gemaB Artikel 36 ubermittelt. 

2. Dieser BERICHT umfaBt insgesamt 5 Blotter einschlleBlich dieses Decl<blatts. 

S AuBerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich urn BIdtter mit Beschreibungen. Anspriichen 
und/oder Zeichnungen, die gedndert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behdrde vorgenommenen Berichtigungen (siehe Regel 70.16 und Abschnitt 607 der Venwaltungsrichtlinien zum PCT). 

DIese Aniagen umfassen insgesamt 22 Blatter. 



3. Dieser Bericht enthdlt Angaben zu folgenden Punkten: 



1 




Grundlage des Berichts 


11 


□ 


Prioritat 


III 


□ 


Keine Erstellung eines Gutachtens uber Neuheit, erflnderische Tatigkeit und gewerbliche Anwendbarkelt 


IV 


□ 


Mangelnde EInheitlichkeit der Erflndung 


V 


El 


Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit. der erfinderlschen Tatigkeit und der 
gewerbllchen Anwendbarkelt; Unterlagen und Erkldrungen zur Stutzung dieser Feststellung 


VI 


□ 


Bestimmte angefuhrte Unterlagen 


VII 


□ 


Bestimmte Mangel der intemationalen Anmeldung 


VIII 


□ 


Bestimmte Bemerkungen zur intemationalen Anmeldung 



Datum der Einrelchung des Antrags 
21/12/2000 


Datum der Fertlgstellung dieses Berichts 
23.08.2001 


Name und Postanschrift der mit der intemationalen vortauflgen 
Pnufung beauftragten Behorde: 

^ Europaisches Patentamt 
^gSl D-80298 Munchen 

Tel. +49 89 2399 - 0 Tx: 523656 epmu d 
Fax: +49 89 2399 • 4465 


Bevollmachtigter Bediensteter v'^ssr^ 
Herter.J f ^ )) 

Tel. Nr. +49 89 2399 7478 



Fonnbtatt PCT/IPEA/409 (Deckblatt) (Januar 1994) 



INTERNATIONALER VORLAUFIGER 
PRUFUNGSBERICHT 



Internationales Aktenzeichen PCT/EPOO/05337 



i. Grundlage d s Berichts 

1 . HInsichtlich der Bestandteile der internationalen Anmeldung (Ersatzblatter, die dem Anmeideamt auf eine 
Aufforderung nach Artikei 14 hin vorgelegt warden, gelten im Rahmen dieses Berichts als "ursprunglich 
eingereicht" urid sind ihm nicht beigefugt, wail sie keine Anderungen enthalten (Regefn 70. 16 und 70,17)): 
Beschreibung, Seiten: 

1-13 eingegangen am 08/08/2001 mit Schreiben vom 06/08/2001 



Patentanspruche, Nr.: 

1-6 eingegangen am 08/08/2001 mit Schreiben vom 06/08/2001 



Zeichnungen, Blatter: 

1/6-6/6 eingegangen am 08/08/2001 mit Schreiben vom 06/08/2001 



2. HInsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die Internationale Anmeldung eingereicht worden ist, zur Verfugung oder wurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Obersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der Internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Obersetzung, die fur die Zwecke der internationalen vorlaufigen PrCifung eingereicht worden 
ist (nach Regel 55.2 und/oder 55.3). 

3. Hinslchtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die 
Internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schrlftllcher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schrlftllcher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erktarung, daB das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informatlonen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 

4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 



Fonmblatt PCT/IPEA/409 (Felder l-VNI, Blatt 1) (Juli 1998) 



INTERNATIONALER VORLAUFIGER 
PRUFUNGSBERICHT 



Internationales Aktenzeichen PCT/E POO/05337 



□ Beschreibung, Selten: 

H Anspruche, Nr.: 7-9 

□ Zeichnungen, Blatt: 

5. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 
angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt In der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzblatten die solche Anderungen enthalten, ist unter Punlct 1 hinzuweisen;sie sind diesem Bericht 
beizufugen). 



6. Etwaige zusatzllche Bemerkungen: 



V. Begrundete FeststeMung nach Artikel 35(2) hmsichtiich der Neuheit, der erfinderischen Tatigkeit und d r 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 1-6 

Nein: Anspruche 

Erfinderische Tatigkeit (ET) Ja: Anspruche 1 -6 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (GA) Ja: Anspruche 1 -6 

Nein: Anspruche 



2. Unterlagen und Erklarungen 
slehe Beibiatt 



Formblatt PCT/IPEA/409 (Felder l-VIII. Blatt 2) (Juli 1998) 



INTERNATIONALER VORLAUFIGER Internationales Aktenzeichen PCT/EPOO/05337 
PRUFUNGSBERICHT- BEIBLATT 



1 . Es wird auf die folgenden Dokumente verwiesen: 

D1 : EP-A-0 874 331 (Fuji Jukogyo KK) 28. Oktober 1 998 

2. Punkt V: Begrundete Feststellung nach Artikel 35(2) hinsichtlich der 
Neuheit, der erfinderischen Tatigkeit und der gewerblichen Anwendbarkeit; 
Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

Die vorliegende Anmeldung erftillt die Erfordernisse der Artikels 33(2) und 33(3) 
PCT, weil der Gegenstand des Anspruchs 1 neu ist und eine erfinderische 
Tatigkeit vorliegt, die GrCinde dafur sind die folgenden: 

Zu Anspruch 1 : 
D1 offenbart: 

- Verfahren zur Detektion von Objekten im Umfeld eines StraBenfahrzeugs bis in 
groBe Entfernung (siehe Zusammenfassung, Zeilen 1-4), 

- bei welchem die Entfernung eines bewegten oder stehenden Fahrzeugs zu 
einem oder mehreren Objekten durch entfernungsbasierte Bildsegmentierung 
mittels Stereobiidverarbeitung berechnet wird (siehe Spalte 3, Zeilen 16-18 und 
Zeilen 38-46) und 

- Eigenschaften der detektierten Objekte durch Objekterkennung in den 
segmentierten Bildbereichen ermittelt werden (siehe Spalte 12, Zeilen 4-12), 
wobei 

- Bildbereiche erhabener Objekte und/oder flacher Objekte ermittelt werden (siehe 
Spalte 9, Zeilen 26-28), und 

- erhabene Objekte und/oder flache Objekte durch Zusammenfassen (Clusterung) 
von 3D-Punkten nach vorbestimmten Kriterien detektiert werden (siehe Spalte 6, 
Zeile 7-16), 

- wobei erhabene Objekte durch Merkmale mit ahnlichen Abstandswerten und 
flache Objekte durch Merkmale mit ahnlichen Hohenwerten bestimmt werden 
(siehe Spalte 6, Zeilen 16-22), und 

- die relevanten Objekte uber die Zeit verfolgt (Tracking) und deren Abstand und 
laterale Position relativ zum eigenen Fahrzeug bestimmt werden, um das 
dynamische Verhalten der relevanten Objekte zu bewerten (implizit, da in D1 das 
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Abstandsbild in lateraler Richtung vom Fahrzeug weg in Bereiche aufgeteilt und 
ein Histogramm uber die Abstandswerte in den einzelnen Bereichen erstellt wird, 
urn aus diesen Histogrammen die Abstande einzelner Objeicte zu bestimmen 
(siehe Spalte 6, Zeilen 16-22). Die IVIdglichkeit einer Kollision oder Beriihrung mit 
Objekten und/oder Fahrzeugen auf der Fahrbahn wird aus der Position und 
GroBe der Objekte/Fahrzeuge bestimmt und die Relativgeschwindigkeit der 
Objekte zunn eigenen Fahrzeug wird ermittelt und ausgegeben (siehe Spalte 6, 
Zeilen 52-58). Um die Relativgeschwindigkeit der Objekte auf der Fahrbahn relativ 
zum eigenen Fahrzeug zu ermittein, ist das Tracking dieser Objekte implizit 
erforderlich, da nur aus mehreren zeitlich aufeinanderfolgenden Bildern eine 
Ermittlung der sich verandernden GroBe und Position der Objekte und damit 
deren relativen Geschwindigkeit moglich ist). 

D1 beschreibt jedoch nicht die Merkmale des charakterisierenden Tells des 
Anspruchs 1 : 

- daB zur Objekterkennung Objekthypothesen ermittelt werden, welche durch 
Vergleichen von Objektnnodellen verifiziert werden, wobei 

- die segmentierten Bildbereiche nach vorbestimmten statistisch verifizierten 2D- 
Merkmalen der zu erkennenden Objekte abgetastet werden, und 

- die detektierten Objekte unter Verwendung eines neuronalen Netzes zur 
Klassifikation einer bestimmten Objektart verglichen werden. 

In der Druckschrift D1 wird die Objekterkennung durch Clusterung von Bildele- 
menten liber dem StraBenniveau mit ahnlichen Abstandswerten durchgefiihrl 
(siehe Spalte 6, Zeilen 7-16). Die Moglichkeit einer Kollision oder Beruhrung mit 
Objekten und/oder Fahrzeugen auf der Fahrbahn wird aus der Position und 
GroBe der Objekte/Fahrzeuge bestimmt und die Relativgeschwindigkeit der 
Objekte zum eigenen Fahrzeug wird ermittelt und ausgegeben (siehe Spalte 6, 
Zeilen 52-58). 

Die Bestimmung der Objekte erfolgt somit lediglich uber die geclusterten 
Bildpunkte, eine Aufstellung von Objekthypothesen sowie der Einsatz eines 
neuronales Netz zur Objektklassifizierung werden in D1 nicht nahegelegt. 

Eine erfinderische Tatigkeit (Artikel 33(3) POT) kann folglich als gegeben 
angesehen werden. 
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Neue Beschreibung- 

Die Erfindung betrifft ein Verfahren zur Detektion von Objekten 
im Umfeld eines Stralienfahrzeugs bis in grofie Entfernung gemafi 
den gattungsbildenden Merkmalen des Patentanspruchs 1. 

Urn den Fahrer eines Kraf tf ahrzeuges im Strafienverkehr zu unter- 
stutzen, sind Fahrerassistenzsysteine entwickelt worden, die 
geeignet sind, vorausschauend gefahrliche Situationen im Stra- 
lienverkehr zu erkennen. Derartige Fahrerassistenzsysteme konnen 
den Fahrer abhangig von seinem Verhalten entweder warnen oder 
in die Fahrzeugf uhrung eingreifen. Hierdurch soil die Fahrsi- 
cherheit erhoht;. der Fahrer von monotonen Fahraufgaben entlas- 
tet und somit das Fahren komfortabler werden. 

Aufgrund der hohen Anf orderungen an die Zuverlassigkeit von 
sicherheitssteigernden Systemen sind zum heutigen Zeitpunkt am 
Markt uberwiegend Komf ortsysteme verfiigbar. Als Beispiele hier- 
fur sind Einparkhilf en und intelligente Tempomaten zu nennen. 
Sicherheitssteigernde Fahrerassistenzsysteme sollen die umge- 
bende Verkehrssituation in immer starkerem Mafie erfassen und 
berucksichtigen . 

Aus der EP 0 558 027 Bl ist eine Einrichtung zum Erfassen des 
Abstands zwischen Fahrzeugen bekannt. Bei dieser Einrichtung 
erzeugt ein Paar von Bildsensoren ein Bild eines Objekts, das 
dem Fahrer angezeigt wird. Ein Bereich dieses Bildes wird in 
Fenster unterteilt. Die Abstande vom fahrenden Fahrzeug zum 
Objekt, das sich in den jeweiligen Fenstern befindet, werden 

erfaJit. Hierbei werden die Abstande durch Vergleichen zweier 
von unterschiedlichen Bildsensoren auf genommener Bildinf ormati- 
onen in verschiedenen Fenstern berechnet . Aufgrund der ermit- 
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telten Abstandsinf ormationen wird das jeweilige Objekt ermit^ 
telt. Es wird ein den relevanten Bildbereich unterteilendes 
Gatter eingesetzt, welches das zu erfassende Objekt umgibt und 
eine weitere Bildinf ormation liefert. Eine Symmetrie dieser 
Bildinformation wird ermittelt und die Existenz eines voraus- 
fahrenden Fahrzeugs wird durch Bestimmen einer Stabilitat einer 
- horizontalen Bewegung einer Symmetrielinie und einer zweiten 
Stabilitat der Abstande tiber. die Zeit vorhergesagt . 

Diese bekannte Erf assungseinrichtung wird dazu eingesetzt, vor 
dem sich bewegenden Fahrzeug bef indliche Fahrzeuge zu erf assen 
und zu erkennen. Eine zuverlassige Erkennung von Objekt en wird 
jedoch nur im Nahbereich erreicht, da dort die einfache Erf as- 
sung von Symmetrielinien ausreichend stabil durchgefuhrt werden 
kann. Im Fernbereich reicht diese einfache Symmetrieerf assung 
aufgrund der geringen Auflosung im Bild und der sich daraus 
ergebenden Ungenauigkeit bei der Bestimmung des Objekts allein 
nicht mehr aus. 

Jedoch sind gerade an eine zuverlassige Objekterkennung hohe 
Anf orderungen zu stellen, damit dem Fahrer keine falschen In- 
f ormationen gegeben werden, die zu falschen und gefahrlichen 
Reaktionen fuhren konnen. Bei intelligenten Systemen konnte das 
Fahrzeug selbst aufgrund der Falschinf ormationen verkehrsge- 
fahrdend reagieren. Verlaliliche Inf ormationen sind etwa bei der 
spurgenauen Erkennung von Fahrzeugen in grofier Entfernung so- 
wohl in als auch entgegen der eigenen Fahrtrichtung unabding- 
bar . 

Die DE 42 11 171 Al schlagt zur Erkennung von interessierenden 
Mustern ein Verfahren vor, das Kreuzrelation kleiner singularer 
Ausschnitte des gesamten interessierenden Musters durch block- 
weise f ortschreitende Bilderkennung iiber ein eingelerntes Klas- 
sif ikationsnetzwerk anwendet. 

Aus der DE 43 08 776 C2 ist eine Einrichtung zum Oberwachen des 
Au/ienraums eines Fahrzeugs bekannt, welches aber eine Fahrspur 
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auf einer Strafie fahrt, die durch ausgedehnte weifte Linien de- 
finiert ist. Mittels Bildverarbeitung wird der Verlauf der 
Strafle anhand von dreidimensionalen Positionsinf ormationen von 
Abschnitten der weifien Linien ermittelt. Durch Ausntitzen der 
dreidimensionalen Positionsinf ormationen der weiften Linien wer- 
den die weifien Linien von dreidimensionalen Objekten getrennt . 
Fttr jeden Abschnitt wird die vertikale Ausdehnung von moglichen 
Objekten ermittelt. Als Ergebnis lassen sich die Koordinaten 
ftir interessierende dreidimensionale Objekte, wie Kraf tf ahrzeu- 
ge, Motorrader oder Fufiganger, im Koordinatensystem des Fahr- 
zeugs festlegen; ZusStzlich kann bestimmt werden, um welches 
Objekte es sich handelt. 

Die in der DE 43 08 776 C2 beschriebene Vorgehensweise des 0- 
berwachens des Aufienraums eines Fahrzeugs ist sehr recheninten- 
siv. Es ist stets notwendig den Verlauf des erfaliten Staiienbe- • 
reichs zu ermitteln, um die Position von Objekten in diesem 
StraJienverlauf bestiiranen zu konnen . Da in einem Kraf tf ahrzeug 
nur begrenzte Rechenleistung zur Verfugung steht, ist eine der- 
artige Oberwachungseinrichtung fiir den praktischen Einsatz we- 
nig geeignet. Zudem ist die bekannte Oberwachungseinrichtung 
stets auf das Vorhandensein weifier Begrenzungslinien angewie- 
sen, welche sich nicht an alien StraBenverlauf en finden lassen. 

Aus der EP-A-0 874 331 ist bekannt, ein Abstandsbild in latera- 
ler Richtung vom Fahrzeug weg in Bereiche aufzuteilen. Hierbei 
wird ein Histogramm iiber die Abstandswerte in den einzelnen 
Bereichen erstellt, um aus diesen Histogrammen die Abstande 
einzelner Objekte zu bestimmen. Die Moglichkeit einer Kollision 
Oder Bertihrung mit Objekten bzw. anderen Fahrzeugen auf der 
Fahrbahn wird aus der Position und GroJJe der Objekte bzw. Fahr- 
zeuge bestimmt. Die Relativgeschwindigkeit der Objekte zum eig- 
nen Fahrzeug wird durch Tracking der Objekte ermittelt. Eine 
sichere Aussage beziiglich der situativen Relevanz der Objekte 
ist nur nach einem sehr rechenintensiven Vorgang mOglich, wel- 
cher eine praktische Anwendung in StraBenf ahrzeugen in Frage 
stellt. 
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Die Aufgabe der Erfindung besteht darin, ein Verfahren zur De- 
tektion von Objekten im Umfeld eines Strafienf ahrzeugs bis in 
groiSe Entfernung anzugeben, welches eine zuverlassige Erfassung 
von Objekten, insbesondere von Fahrzeugen vor und/oder hinter 
dem Straiienfahrzeug und deren situativer Relevanz aufgrund sei- 
ner Lage zum StraBenf ahrzeug ermdglicht. 

Diese Aufgabe wird gemaB der Erfindung durch die Merkmale des 
Patentanspruchs 1 gel5st. Die Unteranspriiche betreffen vorteil- 
hafte Weiterbildungen des Erf indungsgegenstandes . 

DemgemaB ist ein Verfahren zur Detektion von Objekten im Umfeld 
eines StraBenf ahrzeugs bis in groBe Entfernung vorgesehen, bei 
welchem die Entfernung eines bewegten oder stehenden Fahrzeugs 
zu einem oder mehreren Objekten durch entf ernungsbasierte Bild- 
segmentierung mittels Stereobildverarbeitung berechnet' wird. und 
Eigenschaften der detektierten Objekte durch Objekterkennung in 
den segmentierten Bildbereichen ermittelt werden. 

Die Bestiiranung der Eigenschaften der detektierten Objekte soil 
der Klarung ihrer Relevanz f tir das eigene Fahrzeug dienen und 
somit zum Situationsverstehen beitragen. 

Die Detektion kann vorzugsweise nach vorne oder nach hinten 
erfolgen und etwa fiir Stauwarnung, Abstandsregelung zum Vorder- 
mann oder Ruckraumuberwachung eingesetzt werden. Ein wichtiger 
Gesichtpunkt ist hierbei, dal5 die situative Relevanz bzw. das 
Gefahrenpotential der detektierten Objekte aus deren Abstand 
zum eigenen Fahrzeug und der ermittelten Relativgeschwindigkeit 
ermittelt wird. 

Anstelle der Auswertung von Stereobildpaaren, die von einer 
Stereoanordnung bestehend aus optischen Sensoren oder Kameras 
aufgenommen werden, konnen prinzipiell auch einzeln aufgenomme- 
ne Bilder unterschiedlicher Herkunft zur Entf ernungsbestimmung 
ausgewertet werden. 
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Es werden Bildbereiche erhabener Objekte und/oder flacher Ob- 
jekte ermittelt . Erhabene Objekte und/oder flache Objekte werden 
durch Zusammenf assen von 3D-Punkten nach vorbestimmten Krite- 
rien detektiert. Das Zusammenf assen wird auch als Clusterung 
bezeichnet- Dabei werden die erhabenen Objekte durch Merkmale 
mit ahnlichen Abstandswerten und flache Objekte durch Merkmale 
mit ahnlichen H5henwerten bestimmt. Durch diese Vorgehensweise 
k5nnen Objekte nicht nur zuverlassig hinsichtlich ihrer Entfer- 
nung sondern auch hinsichtlich bestimmter Merkmale erkannt und 
bewertet werden. Eine Unterscheidung zwischen erhabenen und 
flachen Objekten ist somit leicht moglich. 

Merkmale ahnlicher Abstandswerte und/oder ahnlicher Hohe werden 
zusammengef aJit, um Cluster zu bilden. Diese Unterscheidung zwi- 
schen erhabenen und flachen Objekten ist fur die sichere Ob- 
jekterkennung, z.B. die Erkennung von anderen Kraf t f ahrzeugen 
und die Unterscheidung zu StraBenmarkierungen sehr wichtig. Da 
heutzutage in modernen Kraf tf ahrzeugen entsprechend hohe Re- 
chenleistungen realisierbar sind, ist eine derartige Bildseg- 
mentierung mittels Entf ernungsbestimmung und Clusterung sicher 
und schnell durchfuhrbar 



Die relevanten Objekte werden iiber die Zeit verfolgt und deren 
Abstand und laterale Position relativ zum eigenen Fahrzeug be- 
stimmt, urn das dynamische Verhalten der relevanten Objekte zu 
bewerten. Erst mit Kenntnis des dynamischen Verhaltens der er- 
mittelten Objekte sind sinnvolle Reaktionen des Fahrers oder 
des Fahrzeuges moglich. Eine „vorausschauende'' Fahrweise wird 
somit gefordert. 

Weiterhin konnen durch dieses sogenannte Tracking sporadisch 
auftretende Phantomobjekte unterdruckt und die gesamte Erken- 
nungsleistung gesteigert werden. So ISiit sich die Anzahl der zu 
klassifizierenden extrahierten Bildbereiche im Bild reduzieren, 
wenn diese durch eine einfache zeitliche Verfolgung auf ihre 
ortliche Konsistenz hin tiberpruft werden. Durch Tracking der 
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detektierten Objekte iiber die Zeit konnen die Obj ekteigenschaf- 
ten wie z.B. Entfernung, Relativgeschwindigkeit und Relativbe- 
schleunigung beispielsweise unter Verwendung eines Kalmanfil- 
ters von Mefirauschen befreit werden. 

Zur Objekterkennung werden Obj ekthypothesen ermittelt, welche 
durch .Vergleich von Objektmodellen verifiziert werden. 

So lassen sich zur Objekterkennung die segmentierten Bildberei- 
che nach vorbestimmten, statistisch verif izierten 2D-Merkinalen 
^^•^ der 2U erkennenden Objekte abtasten und die detektierten Objek- 

te unter Verwendung eines neuronalen Netzes zur Klassif ikation 
einer bestimmten Objektart vergleichen. Auf diese Weise wird 
eine zuverlSssige Objekterkennung durchgef dhrt . 

Die detektierten, erhabenen Objekte kSnnen insbesondere Stra- . 
Benfahrzeuge, Leitpfosten, Bruckenpf eiler, Laternenmasten usw. 
sein sein, wohingegen die detektierten, flachen Objekte insbe- 
sondere StraUenmarkierungen und -begrenzungen wie Bordsteine, 
Leitplanken usw. sein konnen. Somit ISBt sich beispielsweise 
die Position eines StraBenf ahrzeugs in einer bestimmten Fahr- 
spur auf einfache Weise ermitteln. 

•.■. v' Zusatzlich ist es vorteilhaft, die relative Lage und die Rela- 

tivgeschwindigkeit der detektierten Objekte zueinander und zum 
bewegten Fahrzeug zu kennen, um die situative Relevanz der de- 
tektierten Objekte zu ermitteln. Hierzu wird die Abstandsmes- 
sung ausgewertet und eine f ahrspurgenaue Objektzuordnung ermit- 
telt. 

Bei der Bildsegmentierung kann eines der auf genommenen Stereo- 
bildpaare nach signif ikanten Merkmalen von zu erfassenden Ob- 
jekten abgetastet werden. Der Abstand der signif ikanten Merkma- 
le laJit sich dann durch Vergleichen der jeweiligen Merkmale in 
einem Stereobild des Stereobildpaares mit denselben korrespon- 
dierenden Merkmalen im zeitgleich auf genommenen anderen Stereo- 
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bild des Stereobildpaares mittels Kreuzrelation bestimmen, wo- 
bei die dabei auftretenden Disparitaten ausgewertet werden. 



Durch Bestinmen des Abstands signif ikanter Merkmale im Pixelbe^ 
reich werden 3D-Punkte in der realen Welt relativ zum Koordina- 
tensystem der MeJieinrichtung ermittelt. Die so gewonnen Infor- 
mationen von 3D-Punkten sind somit von unterschiedlichen Objek- 
ten bestirnmt, wie etwa Fahrzeuge, StraBenmarkierungen^ Leit- 
planken usw. . 

Neben dem beschriebenen stereobasierten Ansatz sind prinzipiell 
auch Objekterfassungsverf ahren auf der Basis von Radar- 
und/oder Inf rarotsignalen im Fernbereich in5glich- 

Anhand der nachstehenden Beschreibung im Zusammenhang mit den 
beigefiigten Zeichnungen werden weitere Vorteile, Merkmale und 
Einzelheiten der Erfindung deutlicher. 

Es zeigen: 

Fig. 1 eine schematische Darstellung der Verf ahrensschritte 
gemaB der Erfindung; 

Fig. 2 eine schematische Darstellung zur Verdeutlichung des 
Prinzips der Entf ernungsbestimmung bei parallel ange- 
ordneten Kameras gleicher Brennweite. 



Fig. 3 eine schematische Darstellung zur Verdeutlichung des 

Prinzips der Korrespondenzsuche mittels Kreuzkorrelati- 
on; 

Fig. 4 eine schematische Darstellung zur Verdeutlichung des 
Prinzips der 2D Merkmalsextraktion bei der Auswertung 
durch ein neuronales Netz gemaii der Erfindung. 

Fig. 5 eine schematische Darstellung zur Verdeutlichung des 
Prinzips der Koordinatennormierung; und 
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Fig. 6 eine Darstellung eines Entf ernungsprof ils eines naher- 



Im folgenden wird die Bildsegmentierung 1 mittels Stereobild- 
verarbeitung beschrieben, bei der erhabene Objekte 2 detektiert 
werden. Dies wird durch Clusterung 3 einzelner Merkmale mit 
ahnlichen Entfernungen durchgef uhrt . AnschlieJiend wird ein 
Fahrzeugerkennungsverfahren 5, 6 vorgestellt^ mit dem Straiien- 
fahrzeuge in den segmentierten Bildbereichen erkannt werden. 
Fahrzeugtypische Merkmale werden hierzu extrahiert 6 und an- 
schlieBend mit der internen Fahrzeugmodellvorstellung 5 eines 
neuronalen Netzes 8 verglichen. Die prinzipielle Vorgehensweise 
ist schematisch in Figur 1 gezeigt. 

Eine Monobildverarbeitung ist bei Einsatz Shnlicher Mittel und 
ahnlichem Vorgehen grundsatzlich auch moglich. 

Die Eigenschaft der Erhabenheit von StraBenf ahrzeugen gegeniiber 
der StraBe dient dem hier vorgestellten Verfahren zur Bildseg- 
mentierung. Hierzu wird ein Stereokamerasystem eingesetzt^ mit 
dem es moglich ist, Entfernungen signif ikanter Merkmale, die im 
Kamerabild an StraBenf ahrzeugen auftreten, zu bestimmen. Mit- 
tels dieser Information ist eine Aussage tiber erhabene Objekte 
4 moglich. Die standig wachsende Rechenleistung, die im Fahr- 
zeug verfugbar ist, erlaubt heutzutage die echtzeitf ahige Ana- 
lyse von Stereobildpaaren. 

Es ist auch moglich, zuverlassig zu ermitteln, auf welcher 
Fahrspur sich ein erfa/ites Straiienf ahrzeug befindet. Es laRt 
sich dann eine Aussage iiber die situative Relevanz dieses er- 
faftten Straiienf ahrzeugs aufgrund seiner Lage zum eigenen Fahr- 
zeug treffen. Dementsprechend kann dann der Fahrer und/oder das 
eigene Fahrzeug reagieren. 

Obwohl fahrzeugtaugliche Radarsysteme keine ausreichende late- 
rale Auflosung fur eine Spurzuordnung bieten, Inf rarotsysteme 



kommenden Fahrzeugs. 
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Auflosungs- und Reichweitenprobleme besitzen und Ultraschall 
generell fur den Nahbereich einsetzbar ist, ist es prinzipiell 
denkbar, diese Systeme anstelle oder in Kombination zu Stereo- 
kamerasystemen einzusetzen. 

Das Prinzip der Entf ernungsbestiminung bei der verwendeten pa- 
rallelen Kameraanordnung ist in Figur 2 auf Basis des Lochkame- 
ramodells dargestellt. Der Punkt P in der Welt wird uber die 
. Projektionszentren auf die Sensoroberf lachen jeder Kamera pro- 
jiziert. w^bzw. m, stellen die Abweichung vom Projektionszent- 

rum dar. Ihre Differenz 

Aw = - W, 

wird als Disparitat Au bezeichnet. Mittels Trigonometrie und 
den Grolien der Kameraanordnung (Brennweite f und Basisweite b) 
kann der Abstand tiberechnet werden. 




Hierbei stellt b die BasisbreitS;, /die Brennweite und d den 
Abstand zum Punkt P dar. WQund sind die Entfernungen der 

Projektionen des Punktes P auf die Sensoroberf lache . 



Im ersten Verarbeitungsschritt der Bildsegmentierung wird in 
einem der Stereobildpaare nach signif ikanten Merkmalen gesucht. 
Nur zu Versuchszwecken lafit sich eine entsprechende (nicht ge- 
zeigte) Darstellung auf einem Bildschirm oder einer anderen 
Anzeigeeinrichtung darstellen. Signif ikante Merkmale lief em 
z.B. Kanten, die zuverlassig bei Strafienf ahrzeugen auftreten. 
Die Orte der selektierten Kanten^ die den zu korrelierenden 
Bildbereich des zweiten Verarbeitungsschritts definieren, las- 
sen sich etwa durch rechteckige Rahmen in der Bildschirmdar- 
stellung markieren. 
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Zur Bestimmung des Abstandes der am Bildschirm dargestellten 
Merkmale werden die jeweiligen Disparitaten durch Vergleich mit 
dem zeitgleich auf genommenen zweiten Stereobild ermittelt. 
Hierzu findet eine Suche jedes rechteckigen Bildbereiches mit- 
tels Kreuzkorrelation im korrespondierenden Bild statt. In Fi- 
gur 3 ist eine schematische Darstellung zur Verdeutlichung des 
Prinzips der Korrespondenzsuche mittels Kreuzkorrelation 11 
gezeigt. 

Aufgrund der parallelen Ausrichtung der Kameras lalJt sich der 
Suchbereich in vertikaler Richtung auf die Epipolare, in dem in 
Figur 3 gezeigten Falle die jeweilige Zeile, einschranken . In 
horizontaler Richtung wird im korrespondierenden Bild 9, 10 je 
nach zuiassigen Disparitaten der entsprechende Suchbereich de- 
f iniert . 

Durch Verwendung der KKFMF (lokale mittelwertf reie, normierte 
Kreuzkorrelationsfunktion) als Korrelationsf unktion wirken sich 
Helligkeitsunterschiede in den Bildpaaren 9, 10, die z.B. durch 
unterschiedliche Sonneneinstrahlung oder unterschiedliche Rege- 
lung der Kameras auftreten, nur geringfugig auf den Korrelati- 
onswert aus. 

Der Korrelationskoef f izient der KKFMF wird f olgendermaiien be-- 
rechnet: 



KKFMFix,y)= "° 



\n-\ m-} /T-1 m-l 



Die Werte F{i,j) und P^{x + i,y + j) reprasentieren die mittelwert- 
freien Grauwerte der rechteckigen Bildbereiche F(i,j) und 
Pr(x+i,y+j). Aufgrund der Normierung bewegen sich die Ergebnis- 
se der KKFMF im Intervall [-1,1]. Der Wert 1 steht fiir paarwei- 
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se Obereinstiminung, -1 fUr ent sprechend inverse Obereinstim- 
mung. 

Im letzten Verarbeitungsschritt der Bildsegmentierung findet 
eine Zusaininenf assung (Clusterbildung) von Merkmalen mit ahnli- 
Chen Abstandswerten statt (vgl. Figur 1) . Die relative Hohe der 
gebildeten Cluster wird mit einer festen Mindesthohe vergli- 
chenr um ein erhabenes Objekt 2 sicherzustellen . Erhabene Ob- 
jekte sind dabei durch Merkmale mit ahnlichen Abstandswerten 
und flache Ob jekte durch Merkmale mit ahnlichen Hohenwerten 
bestimmt . 

Die resultierenden Cluster lassen sich zu Versuchszwecken in 
eine (nicht gezeigte) reale Bildschirmdarstellung der beobach- 
teten Szene als Rahmen einblenden. Zusatzlich lassen sich an 
den Rahmen die zu den segmentierten Bildbereichen gehorenden 
Entfernungen in Zahlenwerten angeben. 

Neben Fahrzeugen werden auch andere erhabene Ob jekte, wie z.B. 
Leitpfosten und Strafi>enrander segmentiert. Um fehlerhafte Ob- 
jekthypothesen zu verwerfen, wird dem stereobasierten Objekt- 
segmentierungsprozeft innerhalb der detektierten Bildbereiche 
eine 2D-0bjekterkennung nachgeschaltet . 

Im Folgenden wird nun die 2D~Merkmalsextraktion und die Fahr- 
zeugerkennung beschrieben. Diese Verarbeitungsschritte sind 
ebenfalls in der Figur 1 dargestellt. 

StraJienfahrzeuge weisen in der Bildebene signifikante Merkmale, 
z.B. Kanten und Ecken sowie Symmetrie auf. Diese Merkmale wur- 
den zur Suche empirisch ermittelt und durch direkten Vergleich 
mit einem Fahrzeugmodell die Erkennung von Strafienf ahrzeugen 
durchgefiihrt . In dem hier gezeigten Verfahren wird nach statis- 
tisch verif izierten 2D-Merkmalen 7 gesucht, die anschliefiend 
mit der internen Modellvorstellung von Fahrzeugen eines neuro- 
nalen Netzes 8 verglichen werden. In Figur 4 ist eine schemati- 
sche Darstellung zur Verdeutlichung des Prinzips der 2D Merk- 
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malsextraktion bei der Auswertung durch ein neuronales Netz 
gezeigt. 

Zur Ermittlung signif ikanter und statistisch verif izierter 2D- 
Merkmale 7 von Straiienf ahrzeugen wurde ein Datensatz von 50 
Bildern, die Autos in verschiedenen Szenen zeigen^. zu Grunde 
gelegt. Unter Verwendung der unten aufgefuhrten Verfahren fand 
eine Bestimmung von mehreren 9x9 groiien typischen Mustern 
statt, die in den verwendeten Szenen gehauft auftreten (weiter- 
hin als Vergleichsmuster bezeichnet) . 

Die Vergleichsmuster treten an bestiininten Stellen des Fahrzeu- 
ges typisch auf . Beispielsweise k5nnen die Merkmale im unteren 
Bereich der Fahrzeuge vorkommen. An diesen Stellen weisen die 
meisten StraAenf ahrzeuge Shnliche strukturellen Flachen auf. 
Diese sind beispielsweise der Schatten unter dem Auto und die 
Ecken an den Reifen sowie der Verlauf der strukturellen FlSchen 
an den Scheinwerf ern . 

In den segmentierten Bildbereichen wird ein Suchfenster zur 
Berechnung der durch die vorgegebenen Vergleichsmuster bestiinin- 
ten Merkmale definiert. Entsprechend der Entfernung des hypo- 
thetischen Objektes wird ein in der GroBe angepaibtes Suchfens- 
ter definiert und mit den Vergleichsmustern korreliert. Die 
Orte im Suchfenster, die ein lokales Maximum der Korrelations- 
funktion aufweisen^ kennzeichnen signifikante Merkmale, wie 
Figur 5 zeigt. 

Aus den Koordinaten der Extrema und der zugeordneten Ver- 
gleichsmuster erhalt man die Eingangsmerkmale fur das einge- 
setzte f eedf orward-Netz. Dieses wurde fur das Auftreten typi- 
scher Merkmalskonstellationen, die Fahrzeuge kennzeichnen, 
trainiert. 

Das erf indungsgemSAe, echtzeitf ahige Verfahren zur stereoba- 
sierten Verfolgung von Objekten in grofier Entfernung wurde in 
realen Stralienszenen efprobt. In Figur 6 sind die gemessenen 
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Entf ernungsdaten eines sich nahernden Fahrzeugs dargestellt. 
Wie in Figur 6 ersichtlich, tritt in 100 Meter Entfernung eine 
Messungenauigkeit von ca. ±50 cm auf. 

Um die ermittelten Entf ernungsdaten rauschfrei und weitgehend 
frei von MeBfehlern aufgrund fehlerhaft ermittelter Korrespon- 
denzen zu h'alten, bietet sich der Einsatz eines Kalmanf ilters 
an, der durch die zeitliche Betrachtung der Meiiwerte aussage-- 
krSftigere Ergebnisse liefert. Durch die Erweiterung der 2D- 
Merkmalsextraktion uin TexturmaBe und Syininetrieoperatoren, sind 
weitere Potentiale zur Verbesserung des vorgestellten Verfah- 
rens gegeben. 

Zusammenfassend ist f estzuhalten, daii mit dem erf indungsgemaBen 
Verfahren eine zuverlassige Abstandsbestimmung und Erkennung 
von Objekten, insbesondere von Staiienf ahrzeugen vor und/oder 
hinter einem fahrenden Fahrzeug bis in groBe Entfernung moglich 
ist. 
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Neue Patentanspruche 

1- Verfahren zur Detektion von Objekten im CJmfeld eines 

StraBenf ahrzeugs bis in groBe Entfernung^ bei welchem die 
Entfernung eines bewegten oder stehenden Fahrzeugs zu einem 
Oder mehreren Objekten durch entf ernungsbasierte 
Bildsegmentierung (1) mittels Stereobildverarbeitung 
berechnet wird und Eigenschaf ten der detektierten Objekte 
durch Objekterkennung in den segraentierten Bildbereichen 
ermittelt werden^. wobei 

Bildbereiche erhabener Objekte und/oder flacher Objekte 
ermittelt werden (2), 

erhabene Objekte und/oder flache Objekte durch 
Zusaminenfassen (Clusterung) (3) von 3D-Punkten nach 
vorbestimmten Kriterien detektiert werden^ wobei erhabene 
Objekte durch Merkmale mit ahnlichen Abstandswerten und 
flache Objekte durch Merkmale mit ahnlichen Hohenwerten 
bestimmt werden^ und 

die relevanten Objekte (4) uber die Zeit verfolgt 
(Tracking) und deren Abstand und laterale Position relativ 
zum eigenen Fahrzeug bestimmt werden^r um das dynamische 
Verhalten der relevanten Objekte zu bewerten, 
dadurch gekennzeichnet, dali 
zur Objekterkennung Objekthypothesen ermittelt werden, 
welche durch Vergleich von Objektmodellen (5) verifiziert 
werden, wobei 

die segmentierten Bildbereiche nach vorbestimmten, 
statistisch verif izierten 2D-Merkmalen der zu erkennenden 
Objekte abgetastet werden (6, 7), und 

die detektierten Objekte unter Verwendung eines neuronalen 
Netzes (8) zur Klassif ikation einer bestimmten Objektart 
verglichen werden. 
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2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, daJB 
die detektierten^ erhabenen Objekte (4) insbesondere 
StraBenfahrzeuge und/oder die detektierten, flachen Objekte 
insbesondere Stra^enmarkierungen und -begrenzungen sind. 

3. Verfahren nach Anspruch 1 oder 2, 
dadurch gekennzeichnet, daii 
die relative Lage und die Relativgeschwindigkei t der 
detektierten Objekte (4) zueinander und zum bewegten 

'7^) Fahrzeug durch Auswerten der Abstandsmessung ermittelt 

werden, um eine f ahrspurgenaue Objektzuordnung und/oder die 
situative Relevanz der detektierten Objekte zu ermitteln. 

4. Verfahren nach einem der Anspriiche 1 bis 3, 
dadurch gekennzeichnet, dafi 
eines der auf genommenen Stereobildpaare (9, 10) nach 
signif ikanten Merkmalen von zu erfassenden Objekten 
abgetastet wird, und 

der Abstand der signif ikanten Merkmale durch Vergleichen 
der jeweiligen Merkmale in einem Stereobild des 
Stereobildpaares mit denselben korrespondierenden Merkmalen 
im zeitgleich auf genommenen anderen Stereobild des 
Stereobildpaares (9, 10) bestimmt wird, wobei die dabei 
auftretenden Disparitaten mittels Kreuzkorrelation (11) 
ausgewertet werden. 

5. Verfahren nach einem der Anspruche 1 bis A, 

dadurch gekennzeichnet^ da/3 
durch Bestimmen des Abstands signif ikanter Merkmale im 
Pixelbereich 3D-Punkte in der realen Welt relativ zum 
Koordinatensystem der Melieinrichtung bestimmt werden. 
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6. Verfahren nach einem der Anspruche 1 bis 5, 

dadurch gekennzeichnet, dal5 
die Objekte mittels Radar- und/oder Inf rarotsensoren 
und/oder einer Stereo- oder Monoanordnung optischer 
Sensoren oder Kameras detektiert werden. 
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Method of detecting objects in the vicini»ty of a road 
vehicle up to a considerable di^ance 

The invention relates to a method of ydetecting objects 
5 in the vicinity of a road vehicle ujy to a considerable 
distance, according to the generic /f eatures of Patent 
Claim 1 . 

In order to assist the driver (/f a motor vehicle in 
10 road traffic, driver assistance systems have been 
developed, which are suitable for detecting situations 
in the road traffic which / are anticipated to be 
hazardous. Such driver assistance systems can either 
warn the driver, on the ba4is of his behaviour, or 
15 intervene in the management of the vehicle. The 
intention here is to increase driving safety, to 
relieve the driver of monotonous driving tasks and 
therefore for driving to become more convenient . 



20 On account of the high requirements on the reliability 
of systems which increase safety, at the current time, 
it is predominantly /convenience systems which are 
available on the market. Examples of this are parking 
aids and intelligent^ cruise control systems. Driver 
25 assistance systems which increase safety are intended 
to register the surirounding traffic situation to an 
ever increasing extent and to take it into account- 



EP 0 558 027 Bl discloses a device for registering the 
30 distance between vehicles. In the case of this device. 



a . pair of image J sensors generates an image of an 
object, which is displayed to the driver. One region of 
this image is subdivided into windows. The distances 

from the driving vehicle to the object which is located 

/ 

3 5 in the respective window are registered. In this case, 

the distances ar-e calculated by comparing two items of 

\ 

image information recorded by different image sensors 

I 

in different windows. On the basis of the determined 

■ / ■ 
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distance information, the respective object is 
determined. A grid which divides /the relevant image 
region is used, surrounds the obj.ect to be registered 
and supplies further image information. The symmetry of 
this image information is determjmed, and the existence 
of a vehicle travelling in front is predicted by 
determining a level of stability of a horizontal 
movement of a line of symmeti?y and a second level of 
stability of the distances over time. 



This known registration devi.ce is used for the purpose 
of registering and recognizing vehicles located in 
front of the moving vehicle. The reliable recognition 
of objects is achieved, /only in the near region, 

15 however, since there the /simple registration of lines 
of symmetry can be carried out with sufficient 
stability. In the remote . region, this simple 
registration of symmetry / is no longer adequate on its 
own because of the low ifesolution in the image and the 

20 resulting inaccuracy i/n the determination of the 
object . 

However, high requirements have to be placed on 
reliable object recognition in particular, in order 

25 that the driver is not /given any erroneous information, 
which can lead to erroneous and hazardous reactions. In 
the case of intelligent systems, the vehicle itself 
could react in a manner presenting a traffic hazard, on 
the basis of the jerroneous information. Reliable 

3 0 information is imperative, for example in the case of 
the accurate-lane recognition of vehicles at a 
considerable distanc^^, both in and counter to the 
actual direction of travel . 



35 For the recognitiJon of interesting patterns, 
DE 42 11 171 Al proposes a method which applies the 



I 

cross relation of s^mall singular extracts from the 
entire pattern of intterest by means of block-by-block 
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15 



DE 43 08 776 C2 discloses a device ^or monitoring the 
outer space around a vehicle which/ is travelling over 
one lane on a road, the said lane being defined by 
extended white lines. By means of yimage processing, the 
course of the road is determi^ned by using three- 
dimensional position information/ from sections of the 
white lines. By utilizing /the three-dimensional 



position information from the /white lines, the white 

lines are separated from three 7Vaimensional objects. For 

/ 

each section, the vertical e^otent of possible objects 

e coordinates for three- 



is determined. As a result 



such 



as 



motor 



dimensional objects of interest, 

vehicles, motor cycles or pedestrians, can be defined 



in the coordinate system 



the vehicle. In addition. 



it is possible to determine which object is concerned. 



20 



30 



The procedure described / in DE 43 08 77 6 C2 for 
monitoring the outer space faround a vehicle requires a 
great deal of computation./ It is always necessary to 
determine the course of the registered region of the 
road, in order to be able /to determine the position of 



25 objects in this road course. Since only a limited 



amount of 



computing power is available in a motor 
vehicle, such a monitoring device is little suited to 
practical use. In addition, the known monitoring device 
is always referred to th^e presence of white boundary 



lines, which may not be 
roads . 



found on the course of all 



The object of the invention is to specify a method of 



detecting objects in the 



vicinity of a road vehicle up 



35 to a considerable distance which permits the reliable 



registration of objects, 
front of and/or behind 



in particular of vehicles in 
the road vehicle and their 
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relevance to the situation on the basis of its position 
relative to the road vehicle . 



According to the invention, this opject is achieved by 
the features of Patent Claim 1 . The subclaims relate to 
advantageous developments of Jthe subject of the 
invention . 



Accordingly, a method of detecting objects in the 
vicinity of a road vehicle/ up to a considerable 
distance is provided, in whach the distance from a 
moving or stationary vehicle/to one or more objects is 



calculated by distance-based image segmentation by 
means of stereo image processing, and characteristics 
of the detected objects / are determined by object 
recognition in the segmented image regions . 

i 

Determining the characteristics of the detected objects 
is intended to serve to clarify their relevance to the 



particular vehicle and/ therefore contribute to the 
understanding of the situation. 



The detection can preferably be carried out to the 

front or to the rear and employed, for example, to warn 

I 

of :}ams, for distance control from the vehicle in front 

or for monitoring the rear space. In this case, an 

I 

important point of vi.few is that the relevance to the 

situation or the potential hazard of the detected 

if 

objects is determined from their distance to the 

particular vehicle and the determined relative speed. 

ii 

i 

Instead of evaluating pairs of stereo images, which are 
recorded by a stereo arrangement comprising optical 
sensors or cameras, j in principle, even individually 
recorded images of different origin can be evaluated in 



order to determine tt 



e distance. 
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According to a basic idea, image regions c/t elevated 
objects and/or flat objects are determine/a. Elevated 
objects and/or flat objects are detected /by combining 
3D points in accordance with predetermi/ned criteria. 
Combining is also desigrnated clustering./ In this case, 
the elevated objects are determined t/nrough features 
with similar distance values and fl^t objects are 
determined through features with similar height values. 
By means of this procedure, objects /can be recognized 
and assessed not only reliably witin regard to their 
distance but also with regard to y^specific features. 
Distinguishing between elevated and flat objects is 
therefore easily possible. 



Features of similar distance yalues and/or similar 
height are combined in order tyo form clusters. This 
distinction between elevated and flat objects is very 
important for reliable object recognition, for example 
the recognition of other mentor vehicles, and the 
distinction from road markings. Since appropriately 
high computing powers can be/ implemented nowadays in 
modern motor vehicles, image segmentation of this type 
by means of distance determination and clustering can 
be carried out reliably and miickly. 



The detected elevated objects may be, in particular, 
road vehicles, signposts, bridge columns, lamp posts 
and so on, whereas the detected flat objects may be, in 
particular, road markings and boundaries such as curb 
stones, crash barriers ana so on. In this way, for 



example, the position of ^ road vehicle on a specific 
road lane can be determined in a simple way. 

In addition, it is advantageous to know the relative 
position and the relative/ speed of the detected objects 
relative to one another and to the moving vehicle, in 
order to determine thd relevance of the detected 
objects to the situaticAi. To this end, the distance 
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measurement is evaluated, and an ^fccurate road- lane 
object association is determined. 



/ 

I 



During the image segmentation, ©ne of the recorded 
pairs of stereo images can be scanned for significant 
features of objects to be regis4:ered. The spacing of 
the significant features may ^hen be determined by- 



means of cross-relation by comparing the respective 
features in a stereo image from the pair of stereo 
images with the same, corresponding features in the 
other stereo image from th^ pair of stereo images, 
recorded at the same time, tihe disparities which occur 
being evaluated. 



By determining the spacing/ of significant features in 
the pixel range, 3D points in the real world are 
determined relative to the coordinate system of the 



measuring device. The information obtained in this way 
from 3D points is therefpre determined from different 
objects, such as vehi'cles, road markings, crash 
barriers, and so on. 

For the purpose of / object recognition, object 

hypotheses can be determined, which are verified by 

\ 

comparison with object models. 



In this way, for the purpose of object recognition, the 
segmented image regions may be scanned in accordance 
with predetermined, statistically verified 2D features 
of the objects to be recognized, and the detected 
objects may be compared by using a neural network for 
the classification ofi a specific object type. In this 
way, reliable object recognition is carried out. 



The relevant objects; 
their distance and 
particular vehicle 



can be followed over time and 
lateral position relative to the 
zax\ be determined, in order to 



assess the dynamic behaviour of the relevant objects, 



y 
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Only with knowledge of the dynamic behaviour of the 
determined objects are practic^ reactions of the 
driver or of the vehicle possih^Le. An "anticipatory' 
mode of driving is therefore proijaoted. 

5 

Furthermore, by means of this t£racking, as it is known, 
phantom objects which occur sporadically can be 
suppressed, and the entire recognition performance can 
be increased. In this way,/ the number of extracted 
10 image regions to be classi'fied in the image can be 
reduced, if these are /checked for their local 
consistency by means of simple time tracking. By means 
of tracking the detected objects over time, the object 
characteristics, such as /the distance, relative speed 
15 and relative acceleration?, can be freed of measurement 
noise, for example by usipg a Kalman filter. 



20 



In addition to the / above-described stereo-based 
approach, in principle object registration methods 
based on radar and/or /infrared signals in the. remote 
range are also possible/. 



25 



Further advantages, /features and details of the 
invention become clearer by using the following 
description in conjunction with the appended drawings, 
in which: 



30 



35 



Fig. 1 shows a schematic representation of the method 
steps according to the invention ; 



Fig. 



Fig. 3 



shows a sche] 
principle of 
case of 
arranged in 



atic representation to clarify the 
the distance determination in the 
cameras with the same focal length 
parallel ; 



schema t 



shows a 
principle of 
of cross corrjel 



ic representation to clarify the 
the correspondence search by means 
ation; 
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Fig. 4 shows a schematic representation to clarify the 
principle of the 2D featuxe extraction in the 
case of evaluation by a neural network 
according to the invent io^; 



Fig. 5 shows a schematic representation to clarify the 
principle of coordinate normalization; and 



10 Fig. 6 shows a representation of a distance profile of 
an approaching vehici/e. 

In the following text, ^^^j ^^^^^ segmentation by means 
of stereo image processing is described, during which 
15 elevated objects are det4cted. This is carried out 
through clustering indi^|4dual features with similar 
distances. Then, a vehicle recognition method will be 
presented/ with which riad vehicles in the segmented 
image regions are recognized. For this purpose, 

2 0 features typical of vehicles are extracted and then 

I 

compared with the internal vehicle model depiction from 
a neural network. The basic procedure is shown 
schematically in Figure 11. 

25 Mono image processing j is in principle also possible, 
given the use of simil4r means and a similar procedure. 



The characteristic that road vehicles are elevated by 

I 

comparison with the -road is used for the method of 

30 image segmentation presented here. To this end, use is 

made of a stereo camera system, with which it is 

possible to determine the distances of significant 

features which occur in the camera image on road 

vehicles. By means of this information, a statement 

I 

35 about elevated objects is possible. The continually 
increasing computing j power which is available in the 



vehicle nowadays permits real-time analysis of pairs of 
stereo images . j 
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It is also possible to determine reliably on which lane 
a registered road vehicle is located. It is then 
possible to make a statement about the relevance of 
5 this registered road vehicle to /the situation, on the 
basis of its position relative to the particular 
vehicle. The driver and/or the/ particular vehicle can 
then react accordingly. 

10 Although radar systems suita'ble for vehicles do not 
offer adequate lateral resoli^tion for lane association, 
infrared systems have resolution and range problems and 
ultrasound can generally be lused for the near range, it 
is in principle conceivablfe to employ these systems 

15 instead of or in combination with stereo camera 
systems . 

The principle , of distance! determination in the case of 
the parallel camera arrangement used is represented in 
20 Figure 2 on the basis of I the pinhole camera model. The 
point P in the world is projected onto the sensor 
surfaces of each camera fvia the projection centres, uo 
and uj represent the deviation from the projection 
centre. Their difference! 



25 

Au = Uo - ui 

is designated the ciisparity Au. By means of 

f 

trigonometry and the sizes of the camera arrangement 

30 (focal length f and ba|se width b) , the distance d can 

if 

be calculated. 

i 

f ' b 



d = 



Au 



35 Here, b represents the base width, f the focal length 
and d the distance to the point P. uo and uj are the 
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distances of the projections of the point P onto the 
sensor surface. 



In the first processing step in the /image segmentation, 
a search for significant features ±/s carried out in one 
of the pairs of stereo images. A corresponding display 
(not shown) on a monitor or anotner display device may 
be provided only for research /purposes . Significant 
features are supplied, for exainple, by edges, which 
occur reliably in the case pf road vehicles. The 
locations of the selected edge^', which define the image 
region to be correlated in the second processing step 



may be marked, for example, 
frames in the monitor display 



.e, / 
ay ./ 



by means of rectangular 



In order to deteiroine the/ spacing of the features 
displayed on the monitor, /the respective disparities 
are determined by compari^fe>n with the second stereo 



image recorded at the samejftime. To this end, a search 
is made in each rectangular image region by means of 
cross correlation in the corresponding image. 



L 



Figure 3 shows a schematfic representation to clarify 
the principle of the corr/espondence search by means of 
cross correlation . 



On account of the parallel alignment of the cameras, 
the search region in uhe vertical direction may be 
restricted to the epipolars, the respective line in the 
case shown in Figure 3/. In the horizontal direction, 
the corresponding searfch region is defined in the 
corresponding image in accordance with peinmissible 
disparities . 



By means of using 
norma 1 i z ed cr os s 
correlation function , 
pairs of images, which 



KICFMF (the local, average-free, 
cqrrelation function) as the 
lightness differences in the 
occur for example as a result of 
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different solar radiation or different control of the 
cameras, have only a slight effec^/ on the correlation 
value . 



5 The correlation coefficient /from the KKFMF is 
calculated as follows: 



KfCFMF(x,y) = 



10 



15 



The values F(i,j) and P^ri^-^ ^ J ) represent the 
average- free grey values from the rectangular image 
regions F(i,j) and Pr (x.ii , y+ j ) . Because of the 
normalization, the results / from the KKFMF move within 
the interval [-1, 1] . The value 1 represents agreement 
in pairs, -1 represents correspondingly inverse 
agreement . 



20 



25 



30 



In the last processing step in the image segmentation, 
combining (cluster formation) of features with similar 
distance values takes place (cf . Figure 1) . The 
relative height of the clusters formed is compared with 
a fixed minimum height, in order to ensure an elevated 

object. In this case, elevated objects are determined 

\ 

through features with similar distance values, and flat 
objects are determined through features with similar 
height values . 



For research purposes, the resulting clusters can be 



inserted as frames into 
display of the observe 
distances belonging to th 
be specified in numerical 



a (not shown) real monitor 
scene. In addition, the 
segmented image regions may 
alues on the frames. 
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In addition to vehicles, other elevated objects, such 
as sign posts and road margins, /are also segmented. In 
order to discard erroneous ^bject hypotheses, the 
stereo-based object segmentation process within the 
detected image regions is /followed by 2D object 
recognition . 

In the following text, the /2D feature extraction and 
the vehicle recognition will now be described. These 
processing steps are likewis^e shown in Figure 1. 



Road vehicles have significant features in the image 
plane, for example edges^ and corners, as well as 
symmetry. These featunLs have been determined 
empirically for the purpose of a search, and the 
recognition of road vehicles is carried out by means of 



shown here, a search 
statistically verified 
subsequently compared wit 



direct comparison with a f vehicle model. In the method 



is made in accordance with 
2D features, which are 
h the internal model depiction 
of vehicles from a neural network. Figure 4 shows a 
schematic representation I to clarify the principle of 
the 2D feature extraction] during evaluation by a neural 
network . 



In order to determine significant and statistically 

i 

verified 2D features of road vehicles, a data set of 50 

\ 

images, which show cars in various scenes, was used as 



a basis. By using the | method explained below, a 
determination of a plurality of 9x9 large typical 
patterns, which often occpr in the scenes used, was 
carried out (referred |to below as comparative 
patterns) . 

The comparative patterns typically occur at specific 
locations on the vehicle. Fopr example, the features may 



occur in the lower region bf the vehicles . At these 
locations, most road vehicles exhibit similar 
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structural areas- These are/ for example, the shadows 
under the car and the corners of t^e tyres, as well as 
the course of the structural areasf at the head lamps . 

/ 

In the segmented image regions, a search window is 
defined in order to calculate ^he features determined 
by means of the predefined' comparative patterns. 
Depending on the distance of the hypothetical object, a 
search window of matched size^is defined and correlated 
with the comparative patterns. The locations in the 
search window which exhibit^ a local maximum of the 
correlation function identifjy significant features, as 
Figure 5 shows . 

The coordinates of the extrema and the associated 
comparison patterns provide! the input features for the 



feed forward network used 



f This has been trained for 



the occurrence of typical combinations of features 
which identify vehicles. 

The real-time method according to the invention for the 
stereo-based tracking of objects at a considerable 
distance has been tried out in real road scenes. Figure 
6 represents the measured distance data from an 
approaching vehicle. As can be seen in Figure 6, a 
measurement inaccuracy ofj about ± 50 cm occurs at 
100 metres distance. 



In order to keep the determined distance data free of 
noise and largely free of measurement errors on account 



of erroneously detearmined correspondences, the use of a 
Kalman filter is suggested, which supplies more 



meaningful results as a resuVt of the consideration of 
the measured values over time . By extending the 2D 
feature extraction by texture dimensions and symmetry 
operations, further potential Us provided for improving 
the method presented. \ 
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In summary, it is to be recorded^ that, by using the 
method according to the invention, reliable distance 
determination and recognition of /objects, in particular 
of road vehicles in front of and/or behind a travelling 
5 vehicle is possible up to a considerable distance. 
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Patent Claims 



1. Method of detecting objects in ythe vicinity of a 
road vehicle up to a considerable distance, in 
5 which the distance from a moving or stationary 

vehicle to one or more obje<^ts is calculated by 

distance-based image segmentation by means of 

/ 

stereo image processing, and characteristics of 
the detected objects are /determined by object 
10 recognition in the segmented image regions, 

characterized in that 



/ 



image regions of elevated objects and/or flat 
objects are determined, 

elevated objects and/or flat objects are detected 

/ 

15 by combining (clustering/) 3D points in accordance 

with predetermined criteria, elevated objects 
being determined through features with similar 
distance values and fl^at objects being determined 
through features with similar height values, 

20 

2. Method according to Claim 1, characterized in that 

I 

the detected elevated objects are in particular 
road vehicles and/or | the detected flat objects are 
in particular road markings and boundaries. 
25 I 

3. Method according to|claim 1 or 2 , characterized in 
that the relative position and the relative speed 

of the detected objects relative to one another 

I 

and to the moving vehicle are determined by 

3 0 evaluating the distance measurement, in order to 

I 

determine an accur|ate road- lane object association 

and/or the relevance of the detected objects to 

i 

the situation. 



35 



4. 



Method according to one of Claims 1 to 3, 
characterized in that 
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one of the recorded pairs of st'ereo images is 
scanned for significant features jot objects to be 
registered, and 
the spacing of the significant features is 
determined by comparing the respective features in 
a stereo image from the pair ^©f stereo images with 
the same, corresponding features in the other 
stereo image from the pair of stereo images, 
recorded at the same time/ the disparities which 
occur being evaluated / by means of cross 
correlation. 



Method according to one of Claims 1 to 4 , 
characterized in that by determining the spacing 
of significant features in the pixel range, 3D 
points in the real woarld are determined relative 
to the coordinate syst.em of the measuring device. 



7 



Method according to one of Claims 1 to 7, 
characterized in that for the purpose of object, 
recognition, object/ hypotheses are determined, 
which are verified by comparison with object 
models . 

Method according / to one of Claims 1 to 6, 
characterized in that for the purpose of object 
recognition, the/ segmented image regions are 
scanned in accordance with predetermined, 
statistically verified 2D features of the objects 
to be recognized, and the detected objects are 
compared by using a neural network for the 
classification ofl a specific object type. 

Method according to one of Claims 1 to 7, 
characterized ii| that the relevant objects are 
followed over time (tracking) and their distance 
and lateral position relative to the particular 

/ 
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vehicle is determined, in / order to assess the 
dynamic behaviour of the relfevant objects. 

9. Method according to onk of Claims 1 to 8, 
5 characterized in that tl^e objects are detected by 

means of radar and/or Anfrared sensors and/or a 
stereo or mono arrangement of optical sensors or 
cameras . / 
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Abstract 



The invention relates to a method of detecting objects 
in the vicinity of a road vehicle up to a considerable 
distance, in which the dis'tance from a moving or 
stationary vehicle to one or /more objects is calculated 
by distance-based image segmentation by means of stereo 
image processing, and characteristics of the detected 
objects are determined by/ object recognition in the 
segmented image regions . / Image regions of elevated 
objects and/or flat objects are detemnained, and 
elevated objects and/or flat objects are detected by 
combining (clustering) 3^ points in accordance with 
predetermined criteria/ elevated objects being 
determined through features with similar distance 
values and flat objects being determined through 
features with similar height values. 

(Fig. 4) 



/ 
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New description 

The invention relates to a method of detecting objects 
in the vicinity of a road vehicle up to a considerable 
5 distance, according to the generic features of Patent 
Claim 1. 



In order to assist the driver of a motor vehicle in 
road traffic, driver assistance systems have been 

10 developed, which are suitable for detecting situations 
in the road traffic which are anticipated to be 
hazardous. Such driver assistance systems can either 
warn the driver, on the basis of his behaviour, or 
intervene in the management of the vehicle. The 

15 intention here is to increase driving safety, to 
relieve the driver of monotonous driving tasks and 
therefore for driving to become more convenient. 

On account of the high requirements on the reliability 
20 of systems which increase safety, at the current time, 
it is predominantly convenience systems which are 
available on the market. Examples of this are parking 
aids and intelligent cruise control systems. Driver 
assistance systems which increase safety are intended 
2 5 to register the surrounding traffic situation to an 
ever increasing extent and to take it into account. 

EP 0 558 027 Bl discloses a device for registering the 
distance between vehicles. In the case of this device, 

30 a pair of image sensors generates an image of an 
object, which is displayed to the driver. One region of 
this image is subdivided into windows. The distances 
from the driving vehicle to the object which is located 
in the respective window are registered. In this case, 

35 the distances are calculated by comparing two items of 
image information recorded by different image sensors 
in different windows. On the basis of the determined 
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distance information, the respective object is 
determined. A grid which divides the relevant image 
region is used, surrounds the object to be registered 
and supplies further image information. The symmetry of 
5 this image information is determined, and the existence 
of a vehicle travelling in front is predicted by 
determining a level of stability of a horizontal 
movement of a line of symmetry and a second level of 
stability of the distances over time. 



This known registration device is used for the purpose 
of registering and recognizing vehicles located in 
front of the moving vehicle. The reliable recognition 
of objects is achieved only in the near region, 

15 however, since there the simple registration of lines 
of symmetry can be carried out with sufficient 
stability. In the remote region, this simple 
registration of symmetry is no longer adequate on its 
own because of the low resolution in the image and the 

20 resulting inaccuracy in the determination of the 
object . 

However, high requirements have to be placed on 
reliable object recognition in particular, in order 

25 that the driver is not given any erroneous information, 
which can lead to erroneous and hazardous reactions. In 
the case of intelligent systems, the vehicle itself 
could react in a manner presenting a traffic hazard, on 
the basis of the erroneous information- Reliable 

30 information is imperative, for example in the case of 
the accurate-lane recognition of vehicles at a 
considerable distance, both in and counter to the 
actual direction of travel. 

35 For the recognition of interesting patterns, 
DE 42 11 171 Al proposes a method which applies the 
cross relation of small singular extracts from the 



10 
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entire pattern of interest by means of block-by-block 



classification network. 

5 DE 43 08 776 C2 discloses a device for monitoring the 
outer space around a vehicle which is travelling over 
one lane on a road, the said lane being defined by 
extended white lines. By means of image processing, the 
course of the road is determined by using three- 

10 dimensional position information from sections of the 
white lines. By utilizing the three-dimensional 
position information from the white lines, the white 
lines are separated from three-dimensional objects. For 
each section, the vertical extent of possible objects 

15 is determined. As a result, the coordinates for three- 
dimensional objects of interest, such as motor 
vehicles, motor cycles or pedestrians, can be defined 
in the coordinate system of the vehicle. In addition, 
it is possible to determine which object is concerned. 



The procedure described in DE 43 08 776 C2 for 
monitoring the outer space around a vehicle requires a 
great deal of computation. It is always necessary to 
determine the course of the registered region of the 

25 road, in order to be able to determine the position of 
objects in this road course. Since only a limited 
amount of computing power is available in a motor 
vehicle, such a monitoring device is little suited to 
practical use. In addition, the known monitoring device 

30 is always referred to the presence of white boundary 
lines, which may not be found on the course of all 
roads . 

EP-A-0 874 331 discloses the practice of dividing up a 
35 distance image into regions in the lateral direction 
away from the vehicle. In this case, a histogram 
relating to the distance values in the individual 



progressive 



image 
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a 
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regions is drawn up, in order to determine the 
distances of individual objects from these histograms. 
The possibility of a collision or contact with objects 
or other vehicles on the roadway is determined from the 
position and size of the objects or vehicles. The 
relative speed of the objects in relation to the 
particular vehicle is determined by tracking the 
objects. A reliable statement relating to the relevance 
of the objects to the situation is possible only after 
a very computationally intensive procedure, which calls 
a practical application in road vehicles into question. 

The object of the invention is to specify a method of 
detecting objects in the vicinity of a road vehicle up 
to a considerable distance which permits the reliable 
registration of objects, in particular of vehicles in 
front of and/or behind the road vehicle and their 
relevance to the situation on the basis of its position 
relative to the road vehicle. 

According to the invention, this object is achieved by 
the features of Patent Claim 1 . The subclaims relate to 
advantageous developments of the subject of the 
invention. 

Accordingly, a method of detecting objects in the 
vicinity of a road vehicle up to a . considerable 
distance is provided, in which the distance "from a 
moving or stationary vehicle to one or more objects is 
calculated by distance-based image segmentation by 
means of stereo image processing, and characteristics 
of the detected objects are determined by object 
recognition in the segmented image regions. 

Determining the characteristics of the detected objects 
is intended to serve to clarify their relevance to the 
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particular vehicle and therefore contribute to the 
understanding of the situation. 

The detection can preferably be carried out to the 
5 front or to the rear and employed/ for example, to warn 
of jams, for distance control from the vehicle in front 
or for monitoring the rear space. In this case, an 
important point of view is that the relevance to the 
situation or the potential hazard of the detected 
10 objects is determined from their distance, to the 
particular vehicle and the determined relative speed. 

Instead of evaluating pairs of stereo images, which are 
recorded by a stereo arrangement comprising optical 
15 sensors or cameras, in principle, even individually 
recorded images of different origin can be evaluated in 
order to determine the distance. 

Image regions of elevated objects and/or flat objects 
20 are determined. Elevated objects and/or flat objects 
are detected by combining 3D points in accordance with 
predetermined criteria. Combining is also designated 
clustering. In this case, the elevated objects are 
determined through features with simil/^r distance 
25 values and flat objects are determined through features 
with similar height values. By means of this procedure, 
objects can be recognized and assessed not only 
reliably with regard to their distance but also with 
regard to specific features. Distinguishing between 
30 elevated and flat objects is therefore easily possible. 

Features of similar distance values and/or similar 
height are combined in order to form clusters. This 
distinction between elevated and flat objects is very 
3 5 important for reliable object recognition, for example 
the recognition of other motor vehicles, and the 
distinction from road markings. Since appropriately 
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high computing powers can be implemented nowadays in 
modern motor vehicles, image segmentation of this type 
by means of distance determination and clustering can 
be carried out reliably and quickly. 

The relevant objects are followed over time and their 
distance and lateral position relative to the 
particular vehicle are determined, in order to assess 
the dynamic behaviour of the relevant objects. Only 
with knowledge of the dynamic behaviour of the 
determined objects are practical reactions of the 
driver or of the vehicle possible. An "anticipatory" 
mode of driving is therefore promoted. 

Furthermore, by means of this tracking, as it is known, 
phantom objects which occur sporadically can be 
suppressed, and the entire recognition performance can 
be increased. In this way, the number of extracted 
image regions to be classified in the image can be 
reduced, if these are checked for their local 
consistency by means of simple time tracking. By means 
of tracking the detected objects over time, the object 
characteristics, such as the distance, relative speed 
and relative acceleration, can be freed of measurement 
noise, for example by using a Kalman filter. 

For the purpose of object recognition, object 
hypotheses are determined, which are verified by 
comparison with object models. 

In this way, for the purpose of object recognition, the 
segmented image regions may be scanned in accordance 
with predetermined, statistically verified 2D features 
of . the objects to be recognized, and the detected 
objects may be compared by using a neural network for 
the classif i-cation of a specific object type. In this 
way, reliable object recognition is carried out. 
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The detected elevated objects may be, in particular, 
road vehicles, signposts, bridge columns, lamp posts 
and so on, whereas the detected flat objects may be, in 
particular, road markings and boundaries such as curb 
5 stones, crash barriers and so on. In this way, for 
example, the position of a road vehicle on a specific 
road lane can be determined in a simple way. 

In addition, it is advantageous to know the relative 
10 position and the relative speed of the detected objects 
relative to one another and to the moving vehicle, in 
order to determine the relevance of the detected 
objects to the situation. To this end, the distance 
measurement is evaluated, and an accurate road- lane 
15 object association is determined. 

During the image segmentation, one of the recorded 
pairs of stereo images can be scanned for significant 
features of objects to be registered. The spacing of 

20 the significant features may then be determined by 
means of cross-relation by comparing the respective 
features in a stereo image from the pair of stereo 
images with the same, corresponding features in the 
other stereo image from the pair of stereo images, 

25 recorded at the same time, the disparities which occur 
being evaluated. 

By determining the spacing " of significant features in 
the pixel range, 3D points in the real world are 
30 deteirmined relative to the coordinate system of the 
measuring device. The information obtained in this way 
from 3D points is therefore determined from different 
objects, such as vehicles, road markings, crash 
barriers, and so on. 



In addition to the above-described stereo-based 
approach, in principle object registration methods 



35 
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based on radar and/or infrared signals in the remote 
range are also possible. 



Further advantages, features and details of the 
5 invention become clearer by using the following 
description in conjunction with the appended drawings, 
in which: 

Fig. 1 shows a schematic representation of the method 
10 steps according to the inventions- 

Fig. 2 shows a schematic representation to clarify the 
principle of the distance determination in the 
case of cameras with the same focal length 
15 arranged in parallels- 

Fig. 3 shows a schematic representation to clarify the 
principle of the correspondence search by means 
of cross correlation; 

20 

Fig. 4 shows a schematic representation to clarify the 
^"""""■^ principle of the 2D feature extraction in the 
case of evaluation by a neural network 
according to the invention; 

25 

Fig. 5 shows a schematic representation to clarify the 
principle of coordinate normalization; and 

Fig. 6 shows a representation of a distance profile of 
30 an approaching vehicle. 



In the following text, the image segmentation 1 by 
means of stereo image processing is described, during 
which elevated objects 2 are detected. This is carried 
35 out through clustering 3 individual features with 
similar distances. Then, a vehicle recognition method 
5, 6 will be presented, with which road vehicles in the 
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segmented image regions are recognized. For this 
purpose, features typical of vehicles are extracted 6 
and then compared with the internal vehicle model 
depiction 5 from a neural network 8. The basic 
5 procedure is shown schematically in Figure 1. 

Mono image processing is in principle also possible, 
given the use of similar means and a similar procedure. 

The characteristic that road vehicles are elevated by 
comparison with the road is used for the method of 
image segmentation presented here. To this end, use is 
made of a stereo camera system, with which it is 
possible to determine the distances of significant 
features which occur in the camera image on road 
vehicles. By means of this information, a statement 
about elevated objects 4 is possible. The continually 
increasing computing power which is available in the 
vehicle nowadays permits real-time analysis of pairs of 
stereo images. 

It is also possible to determine reliably on which lane 
a registered road vehicle is located. It is then 
possible to make a statement about the relevance of 
25 this registered road vehicle to the situation, on the 
basis of its position relative to the particular 
vehicle. The driver and/or the particular vehicle can 
then react accordingly. 

30 Although radar systems suitable for vehicles do not 
offer adequate lateral resolution for lane association, 
infrared systems have resolution and range problems and 
ultrasound can generally be used for the near range, it 
is in principle conceivable to employ these systems 

35 instead of or in combination with stereo camera 
systems . 
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The principle of distance deteinni nation in the case of 
the parallel camera arrangement used is represented in 
Figure 2 on the basis of the pinhole camera model. The 
point P in the world is projected onto the sensor 
5 surfaces of each camera via the projection centres, uo 
and uj represent the deviation from the projection 
centre- Their difference 

Au = Uo ~ uj 

10 

is designated the disparity Au. By means of 
trigonometry and the sizes of the camera arrangement 
(focal length f and base width b) , the distance d can 
be calculated. 

15 

f ' b 

d = ^ 

Au 

Here, Jb represents the base width, f the focal length 
and d the distance to the point P. Uo and uj are the 
20 distances of the projections of the point P onto the 
sensor surface . 

In the first processing step in the image segmentation, 
a search for significant features is carried out in one 
of the pairs of stereo images. A corresponding display 
(not shown) on a monitor or another display device may 
be provided only for research purposes. Significant 
features are supplied, for example, by edges, which 
occur reliably in the case of road vehicles. The 
locations of the selected edges, which define the image 
region to be correlated in the second processing step 
may be marked, for example, by means of rectangular 
frames in the monitor display. 

35 In order to detearmine the spacing of the features 
displayed on the monitor, the respective disparities 
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are determined by comparison with the second stereo 
image recorded at the same time. To this end, a search 
is . made in each rectangular image region by means of 
cross correlation in the corresponding image. Figure 3 
5 shows a schematic representation to clarify the 
principle of the correspondence search by means of 
cross correlation 11 . 



On account of the parallel alignment of the cameras, 
10 the search region in the vertical direction may be 
restricted to the epipolars, the respective line in the 
case shown in Figure 3. In the horizontal direction, 
the corresponding search region is defined in the 
corresponding image 9, 10 in accordance with 
15 permissible disparities. 

By means of using KKFMF (the local, average- free , 
normalized cross correlation function) as the 
correlation function, lightness differences in the 
20 pairs of images 9, 10, which occur for example as a 
result of different solar radiation or different 
control of the cameras, have only a slight effect on 
the correlation value. 

2 5 The correlation coefficient from the KKFMF is 
calculated as follows: 

JS IMF ' Z ZPrix^i.y^J)" 



30 The values F(i,j) and Pr^x + i^y + j; represent the 
average-free grey values from the rectangular image 
regions F(i,j) and Pr(x+i,y+j). Because of the 
normalization, the results from the KKFMF move within 
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the interval [-1, 1] . The value 1 represents agreement 
in pairs, -1 represents correspondingly inverse 
agreement . 

In the last processing step in the image segmentation, 
combining (cluster formation) of features with similar 
distance values takes place (cf . Figure 1) . The 
relative height of the clusters formed is compared with 
a fixed minimiom height, in order to ensure an elevated 
object 2. In this case, elevated objects are determined 
through features with similar distance values, and flat 
objects are determined through features with similar 
height values. 



PCT/EP 00/05337 
06.08-2001 



15 For research purposes, the resulting clusters can be 
inserted as frames into a (not shown) real monitor 
display of the observed scene. In addition, the 
distances belonging to the segmented image regions may 
be specified in numerical values on the frames . 

20 

In addition to vehicles, other elevated objects, such 
as sign posts and road margins, are also segmented. In 
order to discard erroneous object hypotheses, the 
stereo-based object segmentation process within the 
25 detected image regions is followed by 2D object 
recognition. 



In the following text, the 2D feature extraction and 
the vehicle recognition will now be described. These 
30 processing steps are likewise shown in Figure 1. 

Road vehicles have significant features in the image 
plane, for example edges and corners, as well as 
symmetry. These features have been determined 
35 empirically for the purpose of a search, and the 
recognition of road vehicles is carried out by means of 
direct comparison with a vehicle model. In the method 
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shown here, a search is made in accordance with 
statistically verified 2D features 7, which are 
subsequently compared with the internal model depiction 
of vehicles from a neural network 8 . Figure 4 shows a 
5 schematic representation to clarify the principle of 
the 2D feature extraction during evaluation by a neural 
network . 



In order to determine significant and statistically 
10 verified 2D features 7 of road vehicles, a . data set of 
50 images, which show cars in various scenes, was used 
as a basis. By using the method explained below, a 
determination of a plurality of 9x9 large typical 
patterns, which often occur in the scenes used, was 
15 carried out (referred to below as comparative 
patterns) . 

The comparative patterns typically occur at specific 
. locations on the vehicle. For example, the features may 
20 occur in the lower region of the vehicles. At these 
locations, most road vehicles exhibit similar 
structural areas. These are, for example, the shadows 
under the car and the corners of the tyres, as well as 
the course of the structural areas at the head lamps. 

25 

In the segmented image regions, a search window is 
defined in order to calculate the features determined 
by means of the predefined comparative patterns. 
Depending on the distance of the hypothetical object, a 
30 search window of matched size is defined and correlated 
with the comparative patterns. The locations in the 
search window which exhibit a local maximum of the 
correlation function identify significant features, as 
Figure 5 shows . 

35 

The coordinates of the extrema and the associated 
comparison patterns provide the input teatures for the 
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feed forward network used. This has been trained for 
the occurrence of typical combinations of features 
which identify vehicles. 

5 The real-time method according to the invention for the 
stereo-based tracking of objects at a considerable 
distance has been tried out in real road scenes. Figure 
6 represents the measured distance data from an 
approaching vehicle. As can be seen in Figure 6, a 
10 measurement inaccuracy . of about ± 50 cm occurs at 
100 metres distance. 

In order to keep the determined distance data free of 
noise and largely free of measurement errors on account 

15 of erroneously determined correspondences, the use of a 
Kalman filter is suggested, which supplies more 
meaningful results as a result of the consideration of 
the measured values over time. By extending the 2D 
feature extraction by texture dimensions and symmetry 

20 operations, further potential is provided for improving 
the method presented. 

In summary, it is to be recorded that, by using the 
method according to the invention, reliable distance 
25 determination and recognition of objects, in particular 
of road vehicles in front of and/or behind a travelling 
vehicle is possible up to a considerable distance. 
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Verfahren zur Detektion von Objekten im Umfeld 
eines Strafienfahrzeugs bis in groBe Entfernung 

Die Erfindung betrifft ein Verfahren zur Detektion von Ob- 
jekten im Umfeld. eines Strafienfahrzeugs bis in groBe Ent- ' 
fernung gemafi den gattvmgsbildenden Merkmalen des Patentan- 
spruchs 1. 

Urn den Fahrer eines Kraftf ahrzeuges im StraBenverkehr zu 
unterstutzen/ sind Fahrerassistenzsysteme entwickelt wor- 
den, die geeignet sind, vorausschauend gefahrliche Situa- 
tionen im StraBenverkehr zu erkennen. Derartige Fahrerassi- 
stenzsysteme konnen den Fahrer abhangig von seinem Verbal- 
ten entweder warnen oder in die Fahrzeugfuhrung eingreifen. 
Hierdurch soil die Fahrsicherheit erhoht, der Fahrer von 
monotonen Fahraufgaben entlastet und somit das Fahren kom- 
fortabler werden. 

Aufgrund der hohen Anforderungen an die Zuverlassigkeit von 
sicherheitssteigernden Systemen sind zum heutigen Zeitpunkt 
am Markt iiberwiegend Komfortsysteme verftigbar. Als Beispie- 
le hierftir sind Einparkhilfen und intelligente Tempomaten 
zu nennen. Sicherheitssteigernde Fahrerassistenzsysteme 
sollen die umgebende Verkehrssituation in immer starkerem 
MaBe erfassen und beriicksichtigen* 

Aus der EP 0 558 027 Bl ist eine Einrichtung zum Erfassen 
des Abstands zwischen Fahrzeugen bekannt. Bei dieser Ein-. 
richtung erzeugtein Paar von Bildsensoren. ein Bild eines 
ObjektS/ das dem Fahrer angezeigt wird. Ein Bereich dieses 
Bildes wird in Fenster unterteilt. Die AbstSnde vom fahren- 
den Fahrzeug zum Objekt, das sich in den jeweiligen Fen- 
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Stern befindet, werden erfaBt. Hierbei werden die Abstande 
durch Vergleichen zweier von unterschiedlichen Bildsensoren 
aufgenommener Bildinformationen in verschiedenen Fenstern 
berechnet. Aufgrvind der ermittelten Abstandsinformationen 
wird das jeweilige Objekt ermittelt. Es wird ein den rele- 
vanten Bildbereich unterteilendes Gatter eingesetzt, wel- 
ches das. zu erfasseride Objekt umgibt und eine ^weitere Bil- 
dinfonuation liefert. Eine Symmetrie dieser Bildinformation 
wird ermittelt und die Existenz eines vorausf ahrenden Fahr- 
zeugs wird durch Bestimmen einer Stabilitat einer horizon- 
talen Bewegurig einer Symmetrielinie und einer zweiten Sta- 
bilitat der Abstande Uber die Zeit vorhergesagt . 

Diese bekannte Erf assungseinrichtung wird dazu eingesetzt, 
vor dem sich bewegenden Fahrzeug befindliche Fahrzeuge zu 
erfassen und zu erkennen. Eine zuverlSissige Erkennuhg von 
Objekten wird jedoch nur im Nahbeireich erreicht, da dort 
die einfache Erfassung von Symmetrielinien ausreichend sta- 
bil durchgefuhrt werden kann. Im Fernbereich reicht diese 
einfache Symmetrieerf assung aufgrund der geringen Auflosung 
im Bild und der sich daraus ergebenden Ungenauigkeit bei 
der Bestimmung des Objekts allein nicht mehr aus. 

Jedoch sind gerade an eine zuverlSssige Objekterkennung 
hohe Ahforderiingen zu stellen, damit dem Fahrer keine fal- 
schen Inforiaationen gegeben werden, die zu faischen und 
gefahrlichen Reaktionen ftihren k5nnen. Bei intelligenten 
Systemen k5nnte das Fahrzeug selbst aufgrund der Falschin- 
formationen verkehrsgef ahrdend reagieren. VerlaBliche In- 
formationen sind etwa bei der spurgenauen Erkennung von 
Fahrzeugen in groiier Entfernung sowohl in als auch entgegen 
der eigenen Fahrtrichtung unabdingbar. 

Die DE 42 11 171 Al schl^gt zur Erkennung von interessie- 
renden Mustern ein Verfahren voir, das Kreuzrelation kleiner 
singuiarer Ausschnitte des gesamten interessierendeh Mu- 
sters durch blockweise fortschreitende Bilderkennung tlber 
ein eingelerntes Klassif ikationsnetzwerk anwendet. 
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Aus .der DE 43 08 776 C2 ist eine Einrichtung zum Oberwachen 
des Aufienraums eines Fahrzeugs bekannt/ welches liber eine 
Fahrspur auf einer StraBe fahrt, die durch ausgedehnte wei- 

• fie Linien definiert ist, Mittels Bildverarbeitung wird der 
Verlauf der Strafie anhand von dreidimensionalen Positi- 

* . onsinf ormationen von Abschnittqn der weifien Linien ermit- 

telt. Durch Ausntitzen der dreidimensionalen Positionsinf or- 
mationen der weifien Linien werden die weifien Linien von 
dreidimensionalen Objekten getrennt. FUr jeden Abschnitt 
wird die vertikale Ausdehniing von mbglichen Objekten ermit- 
telt. Als Ergebnis lassen sich die Koordinaten ftir interes- 
sierende dreidimensionale Objekte, wie Kraftfahrzeuge, Mo- 
torrader oder FuBganger, im Koordinatensystem des Fahrzeugs 
festlegen. Zusatzlich kann bestimmt werden, urn welches Ob- 
jekte es sich handelt. 

Die in der DE 43 08 776 C2 beschriebene Vorgehensweise der 
Oberwachen des Aufienraums eines Fahrzeugs ist sehr rechen- 
intensiv. Es ist stets notwendig den Verlauf des erfafiten 
StaBenbereichs zu ermitteln, um die Position von Objekten 
in diesem StraBenverlauf bestimmen zu k5nnen. Da in einem 
Kraftfahrzeug nur begrenzte Rechenlei stung zur VerfUgung 
steht, ist eine derartige Oberwachungseinrichtung fiir den 
praktischen Einsatz wenig geeignet. Zudem ist die bekannte 
Oberwachungseinrichtung stets auf das Vorhandensein weiBer 
Begrenzungslinien angewiesen, welche sich nicht an alien 
StraBenverlauf en finden lassen. 

Die Aufgabe der Erfindung besteht darin, ein Verfahren zur 
Detektion von Objekten im Umfeld eines StraBenfahrzeugs bis 
in groBe Entfernung anzugeben, welches eine zuveriassige 
Erfassung von Objekten, insbesondere von Fahrzeugen vor 
und/oder hinter dem StraBenf ahrzeug und deren situativer 
, Relevanz aufgrund seiner Lage zum StraBenf ahrzeug erm5g- 

licht. 



\ 
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Diese Aufgabe wird gemaB der Erfindung durch die Merkmale 
des Patentanspruchs 1 gel5st. Die UnteransprUche betreffen 
vorteilhafte Weiterbildungen des Erf indungsgegenstandes . 

Demgemafi ist ein Verfahren zur Detektion von Objekten im 
Umfeld einj5s StraBenf ahrzeugs bis in groBe Entfernung vor- 
gesehen, bei welchem die Entfernung eines bewegten oder 
stehenden Fahrzeugs zu einem oder mehreren Objekten durch 
entfiernungsbasierte Bildsegmentierung mittels Stereobild-- 
verarbeitung berechnet wird und Eigenschaf ten der detek- 
tierten Objekte durch Objekterkennung in den segmentiert'en 
Bildbereichen ermittelt werdien. 

Die Bestimmuhg der Eigenschaf ten der detektierten Objekte 
soil der KlSrung ihrer Relevanz ftlr das eigene Fahrzeug 
dienen und somit zum Situationsverstehen beitragen. 

Die Detektion kann vorzugsweise nach vorne oder nach hinten 
erfolgen und etwa fiir Stauwarnung, Abstandsregelung zvm 
Vordermann oder Ruckraiimiiberwachung eingesetzt werden. Ein 
wichtiger Gesichtpunkt ist hierbei, daB die situative Rele- 
vanz bzw. das Gefahrenpotential der detektierten Objekte 
aus deren Abstand zum eigenen Fahrzeug und der ermittelten 
Relativgeschwindigkeit ermittelt wird. 

Anstelle der Auswerturi^ von Stereobildpaaren, die von einer 
Stereoanordnung bestehend aus optischen Sensoren oder Kame- 
ras aufgenommen werden, konnen prinzipiell auch einzeln 
aufgenommene Bilder unterschiedlicher Herkunft zur Entfer- 
nungsbestimmung ausgewertet werden. 

GemaB einem Gruhdgedanken werden Bildbereiche erhabener 
Objekte und/oder flacher Objekte ermittelt .Erhabene Objekte 
und/oder flache Objekte werden durch Zusammenf assen von 3D- 
Punkten nach vorbestimmten Kriterien detektiert. Das Zusam- 
menf assen wird auch als Clusterung bezeichnet. Dabei werden 
die erhabenen Objekte durch Merkmale mit ahnlichen Ab- 
standswerten und flache Objekte durch Merkmale mit ahnli- 
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Chen H5henwerten bestiinmt, Durch diese Vorgehensweise k6n- 
nen Objekte nicht nur zuverlassig hinsichtlich ihrer Ent- 
fernxing sondern auch hinsichtlich bestiinititer Merkmale er- 
kannt und bewertet werden. Eine Unterscheidung zwischen 
erhabenen und flachen Objekten ist somit leicht m5glich. 

Merkmale ahnlicher Abstandswerte und/oder ahnlicher Hohe 
werden zusaininengef aiit, um Cluster zu bilden. Diese Unter- 
scheidung zwischen erhabenen und flachen Objekten ist ftir 
die sichere Objekterkennung, z.B. die Erkennung von anderen 
Kraftf ahrzeugen und die Unterscheidung zu Strafienmarkierun- 
gen sehr wichtig-* Da heutzutage in modernen Kraftf ahrzeugen 
entsprechend hohe Rechenleistungen realisierbar sind, ist 
eine derartige Bildsegmentierung mittels Entfernungsbestim- 
mung und Clusterung sicher und schnell durchfiihrbar 

Die detektierten, erhabenen Objekte konnen insbesondere 
Strafienfahrzeuge, Leitpfosten, Bruckenpf eiler, Laternenitia- 
sten usw. sein sein, wohingegen die detektierten, flachen 
Objekte insbesondere Strafienmarkierungen und -begrenzungen 
wie Bordsteine, Leitplanken usw. sein konnen • Somit laiit 
sich beispielsweise die Position eines StraBenfahrzeugs in 
einer bestimmten Fahrspur auf einfache Weise ermitteln. 

Zusatzlich ist es vorteilhaft, die relative Lage und die 
Relativgeschwindigkeit der detektierten Objekte zueiriander 
und zum bewegten Fahrzeug zu kennen, um die situative Rele-- 
vanz der detektierten Objekte zu ermitteln* Hierzu wird die 
Abstandsmessung ausgewertet und eine f ahrspurgenaue Objekt- 
zuordnung ermittelt. 

Bei der Bildsegmentierung kann eines der auf genoramenen Ste- 
reobildpaare nach signif ikanten Merkmalen von zu erfassen- 
den Objekten abgetastet werden. Der Abstand der signifikan- 
ten Merkmale l^Btsich dann durch Vergleichen der jeweili- 
gen Merkmale in einem Stereobild des Stereobildpaares mit 
denselben korrespondierenden Merkmalen im zeitgleich aufge- 
nommenen anderen Stereobild des Stereobildpaares mittels 



wo 00/77736 " " PCT/EP00/0S337 

Kreuzrelation bestimmen, wobei die dabei auftretenden Dis- 
paritaten ausgewertet werden. 



Durch Bestimmen . des Abstands signif ikanter Merkmale im Pi- 
xelbereich werden 3D-Punkte in der realen Welt relativ zum 
Koordinatensystem der Mefieinrichtung ermittelt. Die so ge- 
wonnen Inf omationen von 3D--Punkten sind somit von unter- 
schiedlichen Objekten bestimmt/ wie etwa Fahrzeuge, Stra- 
Benmarkierungen, Leitplanken usw. . 

Es k5nnen zur Objekterkennung Objekthypothesen ermittelt • 
werden, welche durch Vergleich von Objektmodellen verifi- 
ziert werden. 

So lassen sich zur Objekterkennung die segmentierten Bild- 
bereiche nach vorbestiinmten, statistisch verif izierten 2D- 
Merkinalen der zu erkennenden Objekte abtasten und die de- 
tektierten Objekte unter . Verwendung eines neuronalen Netzes 
zur Klassif ikation einer bestimmten Objektart vergleichen. 
Auf diese Weise wird eine zuverlassige Objekterkennung 
durchgeftihrt . 

Die relevanten Objekte k5nnen tiber die Zeit verfolgt und 
deren Abstand und laterale Position relativ zum eigenen 
Fahrzeug bestimmt werden, um das dynamische Verhalten der 
relevanten Objekte zu bewerten. Erst mit Kenntnis des. dyna- 
mischen Verhaltens der ermittelten Objekte sind sinnvolle 
Reaktionen des Fahrers oder des Fahrzeuges moglich. Eine 
,,vorausschauende* Fahrweise wird somit gefordert. 

Weiterhin k5nnen durch dieses sogenannte Tracking spora- 
disch auf tretende Phantomobjekte unterdriickt und die gesam- 
te Erkennungsleistung gesteigert werden. So laBt sich die 
Anzahl der zu klassif izierenden extrahierten Bildbereiche. 
im Bild reduzieren, wenn diese durch eine einfache zeitli- 
Che Verfolgung auf ihre ortliche Konsistenz hin liberprllft 
werden. Durch Tracking der detektierten Objekte tiber die 
Zeit konnen die Objekteigenschaften wie z.B. Entfernung, 
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Relativgeschwindigkeit und Relativbeschleunigung beispiels- 
weise unter Verwendung eines Kalmanf liters von Mefirauschen 
befreit werden^ 



Neben dem beschrlebenen stereobasierten Ansatz sind prinzl- 
piell auch Objekterfassungsverf ahren auf der Basis von Ra- 
dar- und/ Oder Inf rarotslgnalen im Fernberelch mogllch. 

Anhand der nachstehenden Beschreibung im Zusammenhang mit • 
den beigeftigten Zeichnungen werden weitere Vorteile/ Merk- 
male und Einzelheiten. der Erfindung deutlicher. 

Es zeigen: 



Fig. 1 eine schematische Darstellung der Verf ahrensschrit- 
te gemafi der Erfindung; 

Fig. 2 eine schematische Darstellung zur Verdeutlichung 

des Prinzips der Entfernungsbestimmung bei parallel 
angeordneten Kameras gleicher Brennweite. 

Fig. 3 eine schematische Darstellung zur Verdeutlichung 
. des Prinzips der Korrespondenzsuche mittels 
Kreuzkorrelation; 



Fig. 4 eine schematische Darstellung zur Verdeutlichung. 

des Prinzips der 2D Merkmalsextraktion bei der Aus- 
wertung durch ein neuronales Netz gemSfi der Erfia- 
dung . 

Fig, 5 eine schematische Darstellung zur Verdeutlichung 
des Prinzips der Koordinatennormierung; und 

Fig. 6 eine Darstellung eines Entfernungsprofils eines 
. naherkommenden Fahrzeugs . 

Im folgenden wird die Bildsegmentierung mittels Stereobild- 
verarbeitung beschrieben, bei der erhabene Objekte 
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detektiert warden. Dies wird durch Clusterung einzelner 
Merkmale mit ahnlichen Entfernungen durchgefahrt . Anschlie- 
Bend wird ein Fahrzeugerkennungsverfahren vorgestellt, mit 
dem Strafienfahrzeuge in den segmentierten Bildbereichen 
erkannt werden. Fahrzeugtypische Merkmale werden hierzu- 
extrahiert und anschlieiiend mit der internen Fahrzeugmo- 
dellvorstellung eines neuronalen Netzes verglichen. Die 
prinzipielle Vorgehensweise ist schematisch in Figur 1 ge- 
zeigt. 

Eine Monobildverarbeitung ist bei Einsatz ahnlicher Mittel 
und ahnlichem Vorgehen grundsatzlich auch moglich. 

Die Eigenschaf t der Erhabenheit von Strafienf ahrzeugen ge- 
geniiber der StraBe dient dem hier vorgestellten Verfahren 
zur Bildsegmentierung. Hierzu wird ein Stereokamerasystem 
eingesetzt/ mit dem es moglich ist, Entfernungen signifi- 
kanter Merkmale, die im Kamerabild an Strafienf ahrzeugen 
auftreten, zu bestimmen. Mittels dieser Information ist 
eine Aussage iiber erhabene Objekte moglich • Die standig 
wachsende Rechenleistung, die im Fahrzeug verftigbar ist, 
erlaubt heutzutage die echtzeitfahige Analyse von Stereo- 
bildpaaren. 

Es ist auch m5glich, zuverlassig zu ermitteln, auf welcher 
Fahrspur sich ein erf afites Strafienf ahrzeugbefindet. Es 
lafit sich dann eine Aussage tiber die situative Relevanz 
dieses erfafiten Strafienf ahrzeugs aufgrund seiner Lage zum 
eigenen Fahrzeug treffen. Dementsprechend kann dann der 
Fahrer uhd/oder das eigene Fahrzeug reagieren* 

Obwohl fahrzeugtaugliche Radarsysteme keine ausreichende 
laterale Aufl5sung. ftlr eine Spurzuordnung bieten, Infrarot- 
systeme Auflosungs- und Reichweitenprobleme besitzen und 
Ultraschall generell fiir den Nahbereich einsetzbar ist, ist 
es prinzipiell denkbar, diese Systeme anstelle oder in Kom- 
bination zu Stereokamerasystemen einzusetzen* 
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Das Prinzip der Entfernungsbestimmung bei der verwendeten 

parallelen Kameraanordnung ist in Figur 2 auf Basis des 

Lochkameramodells dargestellt. Der Punkt P in der Welt wird 

tiber die Projektionszentren auf die Sensoroberf lachen jeder 
Kamera projiziert. w^bzw. w, stellen die Abweichung vom 

Projektionszentrum dar* Ihre Differenz 

Am = - Uy 

wird als Disparitat Au bezeichnet. Mittels Trigonometrie • 
und den Gr5Ben der Kameraanordnung (Brennweite f und Basis- 
weite b) kann der Abstand rfberechnet werden.- 




Hierbei stellt b die Basisbreite, /die Brennweite und d den 
Abstand zuiti Punkt P dar. w^und i/, sind die Entfernungen der 

Projektionen des Punktes P auf die Sensoroberf lache. 

Im ersten Verarbeitungsschritt der Bildsegmentierung wird 
in einem der Stereobildpaare nach signif ikanten Merkmalen 
gesucht. Nur zu Versuchszwecken laBt sich eine . entsprechen- 
de (nicht gezeigte) Darstellung auf einem Bildschirm oder 
einer anderen Anzeigeeinrichtung dar stellen. Signif ikante 
Merkmale lief em z.B. Kanten, die zuverlassig bei StraBen- 
fahrzeugen auftreten. Die Orte der selektierten Kanten, die 
den zu korrelierenden Bildbereich des zweiten Verarbei- 
tungsschritts definieren, lassen sich etwa durch rechtecki- 
ge Rahmen in der Bildschirmdarstellung markieren. 

Zur Bestimmung des Abstandes der am Bildschirm dargestell- 
ten Merkmale werden die jeweiligen Disparitaten durch Ver-r 
gleich mit dem zeitgleich aufgenommenen zweiten Stereobild 
ermittelt. Hierzu findet eine Suche jedes rechteckigen 
Bildbereiches mittels Kreuzkorrelation im korrespondieren- 
den Bild statt. 
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In Figur 3 ist eine schema tische Darstellung 

2ur Verdeutlichung des Prinzips der Korrespondenzsuche mit- 

tels Kreuzkorrelation gezeigt. 

Aufgrund der parallelen Ausrichtung der Kameras laBt sich 
der Suchbereich in vertikaler Richtung auf die Epipolare/ 
in dem in Figur 3 gezeigten Falle die jeweilige Zeile, ein- 
schranken. In horizontaler Richtung wird im korrespondie- 
renden Bild je nach zulassigen Disparitaten der entspre- 
chende Suchbereich d^finiert. 

Durch Verwendung der KKFMF (lokale mittelwertf reie, nor- 
mierte Kreuzkorrelationsfunktion) als Korrelationsfunktion 
wirken sich Helligkeitsunterschiede in den Bildpaaren, die 
z.B. durch unterschiedliche Sonneneinstrahlung oder unter- 
schiedliche Regelung der Kameras auftreten, nur geringfiigig 
auf den Korrelationswert aus. 

Der Korrelationskoef fizient der KKFMF wird f olgendermaiien 
berechnet : 



Die Werte F{iJ) xind P^(jc + /,>^ + y) reprasentieren die mittel- 
wertfreien Grauwerte der rechteckigen Bildbereiche F(i,j) 
und Pr (x+i,y+j) . Aufgrund der Normierung bewegen sich die 
Ergebnisse der KKFMF im Intervall [-1^1]. Der Wert 1 steht 
fiir paarweise t)bereinstimmung, -1 ftir entsprechend inverse 
Obereinstimmung . 

Im letzten Verarbeitungsschritt der Bildsegmentier\ing fin- 
det eine Zusammenf assung (Clusterbildung) von Merkma'len mit 
ahnlichen Abstandswerten statt (vgl. Figur 1). Die relative 
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H5he der gebildeten Cluster wird mit einer festen Mindest- 
hohe verglichen, iun ein erhabenes Objekt sicherzustellen, 
Erhabene Objekte sind dabei durch Merkmale mit ahnlichen 
Abstandswerten und flache Objekte durch Merkmale mit ahnli- 
chen Hohenwerten bestimmt. 

Die resultierenden Cluster lassen sich zu Versuchszwecken 
in eine (nicht gezeigte) reale Bildschirmdarstellung der 
beobachteten Szene als Rahmen einblenden. Zusatzlich lassen 
sich an den Rahmen die zu den segmentierten B.ildbereichen 
gehorenden Entfernungen in Zahlenwerten angeben. 

Neben Fahrzeugen werden auch andere erhabene Objekte, wie 
z*B. Leitpfosten und StraBenrander segment iert. Um fehler- 
hafte Objekthypothesen zu verwerfen, wird dem stereobasier- 
ten ObjektsegmentierungsprozeB innerhalb der detektierten 
Bildbereiche eine 2D-0bjekterkennung nachgeschaltet. 

Im Folgenden wird nun die 2D-Merkmalsextraktion und die 
Fahrzeugerkennung beschrieben, Diese Verarbeitungsschritte 
sind ebenfalls in der Figur 1 dargestellt. 

StraBenfahrzeuge weisen in der Bildebene signifikante Merk- 
male, z.B. Kanten und Ecken.sowie Symmetrie auf. Diese 
Merkmale wurden zur Suche empirisch ermittelt und durch 
direkten Vergleich mit einem Fahrzeugmodell die Erkennung 
von StraBenfahrzeugen durchgefuhrt . In dem hier gezeigten 
Verfahren wird nach statistisch verif izierten 2D-Merkmalen 
gesucht, die anschlieBend mit der internen Modellvorstel- 
lung von Fahrzeugen eines neuronalen Netzes verglichen wer- 
den. In Figur 4 ist eine schematische Darstellung zur Ver- 
deutlichung des Prinzips der 2D Merkmalsextraktion bei der 
Auswertung durch ein neuronales Netz gezeigt. 

Zur Ermittlung signifikanter und statistisch verif izierter 
2D-Merkmale von StraBenfahrzeugen wurde ein Datensatz von 
50 Bildern, die Autos in verschiedenen Szenen zeigen, zu 
Grunde gelegt. Unter Verwendung der unten aufgefUhrten Ver- 
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fahren fand eine Bestimmung von mehreren 9x9 groBen typi- 
schen Musterh statt^ die in den verwendeten Szenen gehSuft 
auftreten (weiterhin als Vergleichsmuster bezeichnet) . 

Die Vergleichsmuster treten an bestimmten Stellen des Fahr- 
zeuges typisch auf . Beispielsweise konnen die Merkmale im 
unteren Bereich der Fahrzeuge vorkommen. An diesen Stellen 
weisen die meisten StraBenf ahrzeuge ahnliche strukturellen 
Flachen auf. Diese sind beispielsweise der Schatten unter 
dem Auto und die Ecken an den Reifen sowie der Verlauf der 
strukturellen Flachen an den Scheinwerfern. 

In den segmentierten Bildbereichen wird ein Suchfenster zur 
Berechnung der durch die vorgegebenen Vergleichsmuster be- 
stimmten Merkmale definiert. Entsprechend der Entfernung 
des hypothetischen Objektes wird ein in der Gr5fie angepafi^ 
tes Suchfenster definiert und mit den Vergleichsmustern 
korreliert. Die Orte im Suchfenster, die ein lokales Maxi- 
mum der Korrelationsfunktion aufweisen, kennzeichnen signi- 
fikante Merkmale, wie Figur 5 zeigt. 

Aus den Koordinaten der Extrema und der zugeordneten Ver- 
gleichsmuster erhalt man die Eingangsmerkmale ftir das ein- 
gesetzte feedforward-Netz. Dieses wurde fUr das Auftreten- 
typischer Merkmalskonstellationen, die Fahrzeuge kennzeich- 
nen, . trainiert. 

Das erfindungsgemaBe, echtzeitf ahige Ver fahren zur stere-- 
obasierten Verfolgung von Objekten in groBer Entfernung 
wurde in realen StraBenszenen erprobt. In Figur 6 sind die 
gemeissenen Entfernungsdaten eines sich nahernden Fahrzeugs 
dargestellt. Wie in Figur 6 ersichtlich, tritt in 100 Meter 
Entfernung eine Messungenauigkeit von ca. ± 50 cm auf. 

Urn die ermittelten Entfernungsdaten rauschfrei und weitge- 
hend frei von MeBfehlern aufgrund fehlerhaft ermittelter 
Korrespondenzen zu halten, bietet sich der Einsatz eines 
Kalmanfilters an, der durch die zeitliche Betrachtung der 
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MeBwerte aussagekraf tigere Ergebnisse liefert. Durch die 
Erweiterung der 2D-Merkmalsextraktion um TexturmaBe und 
Syiranetrieoperatoren, sind weitere Potentiale zur Verbesse- 
rung des vorgestellten Verfahrens gegeben. 

Zusammenf assend ist festzuhalten, dafi mit dem erfindungsge- 
maUen Verfahren eine zuverlassige Abstandsbestimmung und 
Erkennung von Objekten, insbesondere von Stafienf ahrzeugen 
vor und/oder hinter einem f ahrenden Fahrzeug bis in groBe 
Entfernung moglich ist. 
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Patentansprtlche 



1. - Verfahren zur Detektion von Objekten im Umfeld eines 

Straiienfahrzeugs bis in grolie Entfernung, bei welchem 
die Entfernung eines bewegten oder stehenden Fahrzeugs 
zu einem oder mehreren Objekten durch entf ernungsba- 
sierte Bildsegmentierung mittels Stereobildverarbeitung 
berechnet wird und Eigenschaf ten der detektierten Ob- 
jekte durch Objekterkennung in den segment ierten Bild- 
bereichen ermittelt werden, 

dadurch gekennzeichnet/ dafi 
Bildbereiche erhabener Objekte und/oder flacher Ob jekte 
ermittelt werden, und 

erhabene Objekte und/oder flache Objekte durch Zusam^ 
menfassen (Clusterung) von 3D-Punkten nach vorbestimm- 
ten Kriterien detektiert werden, wobei erhabene Objekte 
durch Merkmale mit ahnlichen Abstandswerten und flache 
Objekte durch Merkmale mit ahnlichen Hohenwerten be- 
stimmt werden. 

2. Verfahren nach Anspruch 1^ 

dadurch gekennzeichnet, dafi 

die detektierten, erhabenen Objekte insbesondere Stra-- 

fienfahrzeuge und/oder die detektierten, flachen Objekte 

insbesondere StraBenmarkierungen xind -begrenzungen 

sind. 

3. Verfahren nach Anspruch 1 oder 2, 
dadurch gekennzeichnet, dafi 
die relative Lage und die Relativgeschwindigkeit der 
detektierten Objekte zueinander und zum bewegten Fahr- 
zeug durch Auswerten der Abstandsmessung ermittelt wer- 
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den, urn eine fahrspurgenaue Objektzuordnung und/oder 
die situative Relevanz der detektierten Objekte zu er- 
mitteln. 

4. Verfahren nach einem der Ansprtiche 1 bis 3, 
dadu.rch gekennzeichnet, daB 
eines der auf genommenen Stereobildpaare nach signifi- 
kanten Merkmalen von zu erfassenden Objekten abgetastet 
wird, und 

der Abstand der signif ikanten Merkmale durch Verglei- 
chen der jeweiligen Merkmale in einem Stereobild des * 
Stereobildpaares mit denselben korrespondierenden Merk- 
malen im zeitgleich aufgenommenen anderen Stereobild 
des Stereobildpaares bestimmt wird, wobei die dabei 
auftretenden Disparitaten mittels Kreuzkorrelation aus- 
gewertet werden. 

5. Verfahren nach einem der Anspriiche 1 bis 4, 
dadurch gekennzeichnet, daii 
durch Bestimmen des Abstands signif ikanter Merkmale im 
Pixelbereich 3D-Punkte in der realen Welt relativ zum 
Koordinatensystem der Mefieinrichtung bestimmt werden* 

6. Verfahren nach einem der Anspriiche 1 bis 7, 
dadurch gekennzeichnet, daB 

zur Objekterkennung Objekthypothesen ermittelt werden, 
welche durch Vergleich von Objektmodellen verifiziert 
werden. 

?• Verfahren nach einem der Anspriiche 1 bis 6, 

dadurch gekennzeichnet, daB 

zur Objekterkennung die segmentierten Bildbereiche nach 

vorbestimmten, statistisch verif izierten 2D-Merkmalen 

der zu erkennenden Objekte abgetastet werden, und 

die detektierten Objekte unter Verwendung eines neuro- 

nalen Netzes zur Klassif ikation einer bestimmten Objek- 

tart verglichen werden. 
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8. Verfahren nach einem der Ansprtlche 1 bis 1, 
dadurch gekennzeichnet, daB 
die relevanten Objekte Uber die Zeit verfolgt (Trak- 
king) und deren Abstand und laterale Position relativ 
zum eigenen Fahrzeug bestimmt werden, im das dynamische 
Verhalten der relevanten Objekte zu bewerten. 

9, Verfahren nach einem der Anspriiche 1 bis 8, 
dadurch gekennzeichnet, dafi 
die Objekte mittels Radar- und/oder Infrarotsensoren 
und/oder einer Stereo- Oder Monoanordnung optischer ' 
Sensoren oder Kameras detektiert werden. 
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pages 
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, filed with the letter of 
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1/6-6/6 



, filed with the letter of 



06 August 2001 (06.08.2001) 



I I the sequence listing part of the description: 

pages 

pages 

pages 



, as originally filed 



, filed with the demand 



, filed with the letter of 
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the international application was filed, unless otherwise indicated under this item. 

These elements were available or furnished to this Authority in the following language which is: 



I I the language of a translation furnished for the purposes of international search (under Rule 23.1(b)). 

I I the language of publication of the international application (under Rule 48.3(b)). 

I I the language of the translation furnished for the purposes of international preliminary examination (under Rule 55.2 and/ 
or 55.3). 

3. With regard to any nucleotide and/or amino acid sequence disclosed in the international application, the international 
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I I contained in the international application in written form. 

I I filed together with the international application in computer readable form. 
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The statement that the subsequently furnished written sequence listing does not go beyond the disclosure in the 
international application as filed has been furnished. 

The statement that the information recorded in computer readable form is identical to the written sequence listing has 
been fumished. 
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I I the description, pages 

1^ the claims, Nos. 7^9 

I I the drawings, sheets/fig 



4. 
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□ 



5 I I This report has been established as if (some of) the amendments had not been made, since they have been considered to go 
■ ' — * beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)).** 

* Replacement sheets which have been Jurnished to the receiving Office in response to an invitation under Article 14 are referred to 
in this report as "originally filed" and are not annexed to this report since they do not contain amendments (Rule 70 16 
and 70.17). 

**Any replacement sheet containing such amendments must be referred to under item 1 and annexed to this report. 
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V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 


1 . Statement 




Novelty (N) Claims 


1-6 YES 


Claims 


NO 


Inventive step (IS) Claims 


L - 6 YES 


Claims 


NO 


Industrial applicability (lA) Claims 1^6 yes 


Claims 


NO 


2. Citations and explanations 




This report makes reference to the following document: 


Dl: EP-A-0 874 331 (Fuji Jukogyo KK) 28 October 1998. 


The present application meets the requirements of PCT 


Article 33(2) and (3), since the subject 


matter of Claim 1 


is novel and involves an inventive step. 


The reasons for 


this are as follows: 




Claim 1: 




Dl discloses: 




a method for detecting objects within < 


a wide range of a 


road vehicle (see abstract, lines 1-4) 




in which the distance between a moving 


or stationary 


vehicle and one or more objects is calculated by 


distance-based image segmentation using stereoscopic 


image processing techniques (see column 3, lines 16-18 


and lines 38-46) and 




- properties of the detected objects are 


determined by 


object recognition in the segmented image areas (see 


column 12, lines 4-12) , 




the image areas of raised and/or flat objects being 


detected by the clustering of 3D points according to 


predetermined criterion (see column 6, 


lines 7-16) , 
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the raised objects being determined by features with 
similar distance values and the flat objects being 
determined by features with similar height values (see 
column 6, lines 16-22), and 

the relevant objects being tracked over time and their 
distance and lateral position relative to the subject 
vehicle being determined in order to evaluate the 
dynamic behavior of the relevant objects (implicit, 
since, in Dl, the distance image is divided into 
regions in the lateral direction away from the vehicle 
and a histogram is prepared for the distance values in 
the individual regions in order to determine the 
distances of individual objects from this histogram 
(see column 6, lines 16-22) . In order to determine the 
relative speed of the objects on the road relative to 
the subject vehicle, tracking of these objects is 
implicitly required, since the changing size and 
position of the objects, and thus their relative speed, 
can be determined only from a plurality of temporally 
subsequent images . 



However, Dl does not describe the features of the 
characterizing part of Claim 1: 

~ that object hypotheses are determined in order to 

recognize objects, these hypotheses being verified by 
comparing object models, wherein 

the segmented image areas being surveyed according to 
predetermined statistically verified 2D features of the 
objects to be recognized, and 

the detected objects are compared using a neuronal 
network for classifying a particular object type. 

In Dl, an object is recognized by the clustering of 
picture elements located at higher positions than the road 
surface with similar distance values (see column 6, lines 
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7-16) . The possibility of a collision or contact with 
objects and/or vehicles on the road is determined by the 
position and the size of the objects/vehicles and the 
speed of the objects relative to the subject vehicle and 
this possibility is then communicated (see column 6, lines 
52-58) . 

Objects are therefore determined only via the clustered 
image points; the establishment of object hypotheses and 
the use of a neuronal network for classifying objects are 
not obvious from Dl . 

An inventive step (PCT Article 33(3)) was therefore 
involved. 
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